本案例獲得CHIMA 2020醫(yī)院新興技術(shù)創(chuàng)新應用典型案例“醫(yī)學人工智能創(chuàng)新應用”方向三等獎。

目前先進的智慧醫(yī)療、數(shù)字醫(yī)學技術(shù)已經(jīng)逐步深入應用于臨床醫(yī)學領(lǐng)域，基于人工智能和互聯(lián)網(wǎng)+、大數(shù)據(jù)技術(shù)的智慧醫(yī)療正在興起，它將計算機信息技術(shù)、人工智能、虛擬現(xiàn)實等高新技術(shù)應用于醫(yī)療服務，是現(xiàn)代數(shù)字信息技術(shù)和現(xiàn)代醫(yī)療技術(shù)的深度融合。而智慧醫(yī)學發(fā)展也已經(jīng)由虛擬現(xiàn)實VR（Virtual Reality）到增強現(xiàn)實AR(Augmented Reality），再進入了混合現(xiàn)實MR（Mixed Reality）。

技術(shù)變革帶來新的挑戰(zhàn)，從醫(yī)生、醫(yī)院和患者都對智慧醫(yī)療服務有更多的需求。主要反映在以下三個層次：

基層臨床醫(yī)生需求：基層誤診漏診率高；手術(shù)缺乏指導；工作繁重，又快又全有難度；知識更新不夠及時便捷；缺乏臨床診療的智慧化支撐；

醫(yī)院需求：醫(yī)生診療行為不規(guī)范；電子病歷質(zhì)量低，臨床數(shù)據(jù)缺乏再利用；科學分診轉(zhuǎn)診難管控，管理決策難制定；

患者需求：在智慧醫(yī)療體系支撐下獲得期望在根據(jù)良好就醫(yī)體驗；基層醫(yī)院就診得到上級醫(yī)院專家的具體意見、保證手術(shù)質(zhì)量；節(jié)約醫(yī)療成本，提升就醫(yī)效率。

“智慧醫(yī)療輔助遠程決策及手術(shù)導航系統(tǒng)”，是由云南省第一人民醫(yī)院主導研發(fā)的智慧醫(yī)療技術(shù)，是智慧醫(yī)療在云南省發(fā)展與普及的代表性技術(shù)。云南省第一人民醫(yī)院與中國聯(lián)通公司聯(lián)合進行5G環(huán)境下“智慧醫(yī)療輔助遠程決策及手術(shù)導航系統(tǒng)”創(chuàng)新應用建設(shè)，利用數(shù)字醫(yī)學技術(shù)將病灶數(shù)據(jù)化，形成立體可視化模型，精確標識手術(shù)方案，做到了在三維條件下可以反復模擬手術(shù)、遠程實時動態(tài)人工智能手術(shù)導航、快速評估手術(shù)效果。系統(tǒng)通過5G+MR的多中心超遠程手術(shù)協(xié)同，已經(jīng)在多家醫(yī)院推廣應用，擁有多個自主知識產(chǎn)權(quán)。

圖1 智慧醫(yī)療輔助遠程決策及手術(shù)導航系統(tǒng)現(xiàn)場應用

“智慧醫(yī)療輔助遠程決策及手術(shù)導航系統(tǒng)”主要提供以下兩方面的醫(yī)療服務：

第一，手術(shù)前。幫助多個專業(yè)的外科醫(yī)師（肝膽胰外科、泌尿外科、骨科、神經(jīng)外科等等）進行反復的手術(shù)模擬、科學的手術(shù)規(guī)劃，方便將復雜手術(shù)方案向患者及家屬進行有效溝通，有效降低以往因為醫(yī)患溝通不暢造成的醫(yī)療隱患；

第二，手術(shù)中。“智慧醫(yī)療輔助遠程決策及手術(shù)導航系統(tǒng)”可以在手術(shù)中，遠程協(xié)助外科醫(yī)師及時辨別解剖異常，對手術(shù)平面、手術(shù)路徑進行實時引導，提高手術(shù)安全性，有效避免手術(shù)意外、術(shù)中大出血等風險，有效提高手術(shù)醫(yī)療質(zhì)量；可以在手術(shù)后，幫助外科醫(yī)師復習手術(shù)，總結(jié)手術(shù)經(jīng)驗，對年輕醫(yī)師、進修醫(yī)師進行有針對性的外科手術(shù)培訓，模擬手術(shù)，縮短手術(shù)的學習曲線，最終達到縮短不同醫(yī)師、不同地區(qū)之間手術(shù)技術(shù)的差距，達到不同地域醫(yī)療資源的均質(zhì)性。利用混合現(xiàn)實進行手術(shù)導航，手術(shù)過程中需要根據(jù)手術(shù)解剖部位的進展，及時調(diào)整虛擬解剖3D圖像的方位，根據(jù)手術(shù)解剖細節(jié)的要求，及時調(diào)整虛擬解剖3D圖像的大小。

“智慧醫(yī)療輔助遠程決策及手術(shù)導航系統(tǒng)”使用CS架構(gòu)，Server端主要負責數(shù)據(jù)上傳、數(shù)據(jù)儲存、數(shù)據(jù)管理，Client端包括病例瀏覽、臟器模型操作、使用工具對臟器模型交互、MR3D顯示四大模塊，實現(xiàn)“顏色區(qū)分人體結(jié)構(gòu)”、“改變臟器透明度”、“臟器切割”、“計算臟器體積”、“臟器內(nèi)窺”、“臟器穿刺”“三維消融”、“三維透明化”等功能。

圖2 系統(tǒng)數(shù)據(jù)管理界面

（1）顏色區(qū)分人體結(jié)構(gòu)

從服務器加載根據(jù)影像數(shù)據(jù)（CT/MRI）三維重建后的模型文件到系統(tǒng)中，通過用不同顏色標記不同的人體部位（模型器官），實現(xiàn)顏色區(qū)分人體結(jié)構(gòu)，且各部位標記顏色用戶可根據(jù)需求設(shè)置。

圖3 顏色區(qū)分人體結(jié)構(gòu)

（2）改變臟器透明度

系統(tǒng)病例中的每個模型器官都可通過模型設(shè)置界面改變其模型透明度，透明度設(shè)置為100%、75%、50%、25%、0%五個透明等級，其中100%和0%分別為不透明和全透明。通過改變臟器模型的透明度以達到模擬臟器外壁透明的效果。

圖4 改變臟器透明度

（3）臟器切割

進入系統(tǒng)中的任意病例后，選擇工具欄中的切割工具，此時操作界面出現(xiàn)一把手術(shù)刀，用交互設(shè)備拾取手術(shù)刀，手術(shù)刀可對模型器官進行任意角度的切割，經(jīng)過特殊的算法處理后，切割后的模型部位會與原模型分離并形成一個單獨的模型，每個臟器模型均可進行多次器官。

圖5 臟器模型切割

（4）計算臟器體積

在系統(tǒng)病例中的臟器模型通過一系列三維空間算法，計算出指定三維模型的三維空間體積。實時體積計算，根據(jù)需求設(shè)定計算的精度；計算后的體積數(shù)值對應顯示在器官列表中，支持50萬以內(nèi)多邊形數(shù)量的不規(guī)則模型。

圖6 臟器模型體積計算

（5）臟器內(nèi)窺

選擇工具欄中的內(nèi)窺工具，此時右上角出現(xiàn)內(nèi)窺相機中的圖像，通過移動內(nèi)窺相機，可查看到特定范圍能模型臟器的內(nèi)部結(jié)構(gòu)。

圖7 臟器內(nèi)窺

（6）臟器穿刺

可通過 zSpace 交互設(shè)備，模擬手持穿刺針，從任意角度刺入虛擬三維人體器官組織。模擬穿刺過程中，穿刺針穿入臟器交互交互設(shè)備會有震動反饋，并會在界面中顯示相應器官的名稱，以及刺入的深度或是否被穿刺針貫穿。

圖8 臟器穿刺

（7）三維消融

通過 zSpace 交互設(shè)備，模擬手持消融棒，從任意角度刺入虛擬三維人體器官組織。模擬消融過程中，通過模擬真實的手持消融棒，對人體器官組織的三維數(shù)據(jù)進行消融操作，并顯示消融的路徑和路徑上的器官、組織。

圖9 三維消融

（8）三維透明化

系統(tǒng)界面中的器官列表有每一個器官模型的可設(shè)置項目，用戶可通過點擊器官列表中的隱藏控制按鈕實現(xiàn)模型顯示和隱藏操作，可任意隱藏病例的不同器官模型。

圖10 三維透明化

連接攝像頭或接入腹腔鏡攝像系統(tǒng)，將手術(shù)場景影像和混合現(xiàn)實數(shù)據(jù)實時整合/對位，根據(jù)手術(shù)需要點擊各功能按鈕，利用混合現(xiàn)實影像為手術(shù)進行實時手術(shù)導航。

圖11 實時手術(shù)導航

5G技術(shù)的應用。在醫(yī)療實際應用場景中，一方面，5G可以將導航操作平臺安置到中心控制室，用戶在中心控制室遠程進行操作，避免感控風險；另一方面，在中心控制室的專家在同一時間能為多臺手術(shù)進行手術(shù)導航，也可以同時為多地其他醫(yī)院的手術(shù)進行手術(shù)導航、手術(shù)指導。利用5G技術(shù)，手術(shù)及會診現(xiàn)場的每一個細節(jié)、每一幀畫面都將通過5G信號直接傳輸，為現(xiàn)場專家、患者帶來“零時差”、“零距離”的會診溝通體驗。

MR技術(shù)的應用。一方面，已采集患者影像學資料（CT、MRI和B超等），由醫(yī)學影像醫(yī)師進行醫(yī)學影像診斷；由醫(yī)學影像醫(yī)師及肝膽外科臨床醫(yī)師，利用三維重建專業(yè)影像軟件，構(gòu)建腫瘤、血管、病變器官的三維模型，將三維模型導入智慧醫(yī)療輔助遠程決策及手術(shù)導航系統(tǒng)，利用三維空間坐標標記組織、器官之間的空間位置，并賦予正確名稱，對各組織、器官進行參數(shù)調(diào)配，設(shè)置相關(guān)實用功能，如切割、內(nèi)窺、穿刺及測量等；另一方面，“智慧醫(yī)療輔助遠程決策及手術(shù)導航系統(tǒng)”已應用于臨床，實現(xiàn)混合現(xiàn)實引導腹腔鏡手術(shù)、混合現(xiàn)實引導開腹手術(shù)等，并在曲靖市第一人民醫(yī)院、文山市人民醫(yī)院、騰沖市人民醫(yī)院、云南省腫瘤醫(yī)院等各級醫(yī)院進行推廣應用，旨在提高各級醫(yī)院的診療水平。

“智慧醫(yī)療輔助遠程決策及手術(shù)導航系統(tǒng)”，借助5G和混合現(xiàn)實技術(shù)，實現(xiàn)了腹腔鏡下的數(shù)據(jù)融合，多方位、多角度的實時移動手術(shù)部位，根據(jù)病灶位置進行多平面實時模擬切割，實時不同解剖部位體積計算，器官內(nèi)部的多角度內(nèi)窺觀察，多角度穿刺模擬操作，多方案消融手術(shù)規(guī)劃、手術(shù)引導，解剖三維空間的測量，腹腔鏡手術(shù)、穿刺手術(shù)觸覺反饋等多個智慧醫(yī)療技術(shù)應用。系統(tǒng)平臺的應用，打破了時間和空間的壁壘，使患者用較短的時間、支付基本的醫(yī)療費用，就可以享受安全、便利、優(yōu)質(zhì)的診療服務；使得缺乏優(yōu)質(zhì)醫(yī)療資源的基層醫(yī)療機構(gòu)可以享受到省內(nèi)重點醫(yī)院、國內(nèi)外發(fā)達地區(qū)的優(yōu)質(zhì)醫(yī)療資源的支持，實現(xiàn)優(yōu)質(zhì)醫(yī)療資源的下沉，為全省大健康產(chǎn)業(yè)發(fā)展提供堅實的技術(shù)支持。