2023年醫(yī)院新興技術(shù)創(chuàng)新應(yīng)用典型案例征集活動(dòng)經(jīng)行業(yè)專家背靠背盲審以及終審，共選出24篇典型案例，將陸續(xù)刊登出來(lái)，以饗讀者。

　　1項(xiàng)目簡(jiǎn)介

　　近年來(lái)，隨著醫(yī)學(xué)多模態(tài)數(shù)據(jù)的不斷匯聚和人工智能(AI)技術(shù)的迅猛發(fā)展，基于大數(shù)據(jù)的臨床研究已成為醫(yī)工交叉融合的熱點(diǎn)方向，越來(lái)越多的臨床研究趨向于使用人工智能技術(shù)對(duì)醫(yī)學(xué)數(shù)據(jù)進(jìn)行建模、訓(xùn)練、分析，形成回顧性結(jié)論或前瞻性預(yù)判。2019年，科技部印發(fā)了《國(guó)家新一代人工智能開放創(chuàng)新平臺(tái)建設(shè)工作指引》的通知，要求開展細(xì)分領(lǐng)域的技術(shù)創(chuàng)新，把已經(jīng)形成的標(biāo)準(zhǔn)化、模塊化的模型、算法、中間件及應(yīng)用軟件進(jìn)行開放共享服務(wù)。對(duì)醫(yī)療行業(yè)而言，如何將大量文本、影像等多模態(tài)數(shù)據(jù)進(jìn)行關(guān)聯(lián)性應(yīng)用，建立符合醫(yī)學(xué)數(shù)據(jù)特征的模型構(gòu)建方法等主要瓶頸問題亟待解決。

　　針對(duì)臨床研究與應(yīng)用的復(fù)雜場(chǎng)景，陸軍軍醫(yī)大學(xué)第一附屬醫(yī)院(西南醫(yī)院)將數(shù)據(jù)處理、模型訓(xùn)練、分析決策等環(huán)節(jié)的關(guān)鍵技術(shù)進(jìn)行流程化、顆粒化、工程化處理，研發(fā)醫(yī)學(xué)AI能力生成服務(wù)平臺(tái)，形成文本與影像智能搜索、醫(yī)學(xué)研究模型構(gòu)建、醫(yī)學(xué)AI模型應(yīng)用、統(tǒng)計(jì)分析等功能，使臨床醫(yī)生擁有屬于自己的數(shù)據(jù)制備能力、建模訓(xùn)練能力、知識(shí)構(gòu)建能力、分析決策能力，以滿足其自主化、個(gè)性化的臨床研究與應(yīng)用需求。醫(yī)學(xué)AI能力生成服務(wù)平臺(tái)的建設(shè)與應(yīng)用將是AI技術(shù)在醫(yī)學(xué)領(lǐng)域深層次發(fā)展的重要方向，對(duì)提升臨床研究水平與輔助診斷能力具有積極作用和重要意義。

2關(guān)鍵技術(shù)或平臺(tái)功能描述

　　(1)關(guān)鍵技術(shù)

　　重點(diǎn)解決文本、影像數(shù)據(jù)的多維綜合分析處理與跨模態(tài)檢索匹配、醫(yī)學(xué)影像數(shù)據(jù)自動(dòng)化標(biāo)注、醫(yī)學(xué)研究模型自動(dòng)化構(gòu)建與自適應(yīng)調(diào)參三大關(guān)鍵技術(shù)。

　　1)圖文結(jié)合的醫(yī)學(xué)多模態(tài)數(shù)據(jù)匹配技術(shù)

　　基于機(jī)器視覺與深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，并采用特定算法研究病灶的全征象檢出，包括鈣化、腫塊、結(jié)構(gòu)扭曲和不對(duì)稱等。對(duì)分型、征象全面識(shí)別、自動(dòng)配準(zhǔn)等進(jìn)行圖像的結(jié)構(gòu)化信息提取，并與檢查結(jié)論等已進(jìn)行結(jié)構(gòu)化與標(biāo)注化的報(bào)告信息進(jìn)行匹配，實(shí)現(xiàn)多維綜合分析處理與跨模態(tài)檢索匹配。

　　2)醫(yī)學(xué)影像數(shù)據(jù)自動(dòng)化標(biāo)注技術(shù)

　　利用機(jī)器學(xué)習(xí)模型，由影像智能分析引擎自動(dòng)生成標(biāo)注信息，實(shí)現(xiàn)分層次的卷積神經(jīng)網(wǎng)絡(luò)(CNN)網(wǎng)絡(luò)模型生成不同層級(jí)的輸出詞匯，算法模型自動(dòng)對(duì)病灶進(jìn)行檢測(cè)，圈定ROI區(qū)域，并能夠?qū)z測(cè)的ROI進(jìn)行分類，甄別病灶ROI及非病灶ROI，并對(duì)病灶ROI進(jìn)行檢測(cè)結(jié)果及定位輸出。自動(dòng)化標(biāo)注技術(shù)支持在病灶所在位置畫出ROI后，自動(dòng)計(jì)算結(jié)節(jié)大小、位置、密度、體積、CT值、風(fēng)險(xiǎn)等級(jí)、良惡性概率、相似病例等信息。

　　3)醫(yī)學(xué)研究模型自動(dòng)化構(gòu)建與自適應(yīng)調(diào)參技術(shù)

　　采用知識(shí)表達(dá)、認(rèn)知計(jì)算等算法模型構(gòu)架。借助機(jī)器學(xué)習(xí)模型算法、影像深度學(xué)習(xí)模型算法和遷移學(xué)習(xí)模型算法，研究自適應(yīng)調(diào)參技術(shù)，包括機(jī)器學(xué)習(xí)的超參數(shù)配置，深度學(xué)習(xí)的參數(shù)優(yōu)化算法自動(dòng)化選擇等。

　　(2)平臺(tái)主要功能

　　研發(fā)構(gòu)建的醫(yī)學(xué)AI能力生成服務(wù)平臺(tái)包含數(shù)據(jù)層、算法層、工具層和應(yīng)用層。其中，數(shù)據(jù)層對(duì)多模態(tài)數(shù)據(jù)進(jìn)行采集、匯聚與治理;算法層提供數(shù)據(jù)算法包、算法引擎、分析與判讀等功能;工具層集成數(shù)據(jù)挖掘、分析、服務(wù)工具;應(yīng)用層形成多病種圖文一體數(shù)據(jù)庫(kù)、智能檢索、科研支撐等應(yīng)用，如圖1所示。

圖1 平臺(tái)功能架構(gòu)圖

　　1)圖文結(jié)合的多模態(tài)數(shù)據(jù)庫(kù)與搜索引擎

　　結(jié)合醫(yī)療專業(yè)術(shù)語(yǔ)的語(yǔ)義結(jié)構(gòu)，實(shí)現(xiàn)了醫(yī)療語(yǔ)義信息從原始的自然語(yǔ)言表達(dá)，擴(kuò)展分析為結(jié)構(gòu)化的Key-Value模式。對(duì)原文使用關(guān)鍵詞進(jìn)行搜索，滿足多個(gè)搜索條件間的邏輯關(guān)系。對(duì)影像數(shù)據(jù)進(jìn)行清洗篩選和重采樣，支持影像高維度量化變量提取，將影像特征提取的數(shù)據(jù)納入數(shù)據(jù)庫(kù)，支持影像tag、影像病灶輪廓信息檢索，如圖2所示。

　　2)醫(yī)學(xué)AI智能分析算法模型

　　機(jī)器學(xué)習(xí)訓(xùn)練和評(píng)估：集成影像處理算法包，建立影像數(shù)據(jù)標(biāo)注、多維度特征提取、特征選擇、模型建立、研究結(jié)果分析全流程的醫(yī)學(xué)模型自建功能。提供了包括邏輯回歸、隨機(jī)森林等14種機(jī)器學(xué)習(xí)模型，同時(shí)提供AutoML功能，可讓臨床醫(yī)生在不了解機(jī)器學(xué)習(xí)的情況下建立自己的臨床診斷模型，并提供多維度的評(píng)價(jià)指標(biāo)及圖表評(píng)估模型，如圖3所示。

圖3 機(jī)器學(xué)習(xí)效果評(píng)估圖

　　深度學(xué)習(xí)訓(xùn)練和評(píng)估：封裝常規(guī)深度學(xué)習(xí)訓(xùn)練框架的編程部分，使得臨床醫(yī)生可通過簡(jiǎn)單的人機(jī)交互完成模型訓(xùn)練、參數(shù)調(diào)節(jié)和評(píng)估。提供了包括數(shù)據(jù)處理、超參數(shù)配置、數(shù)據(jù)增強(qiáng)、模型選擇、模型評(píng)價(jià)等功能，包含了病灶分類、病灶分割以及病灶檢測(cè)等場(chǎng)景，輔助臨床醫(yī)生實(shí)現(xiàn)對(duì)醫(yī)學(xué)影像圖像的自動(dòng)智能判讀，如圖4所示。

圖4 深度學(xué)習(xí)模型訓(xùn)練圖

　　3)醫(yī)學(xué)AI模型應(yīng)用

　　影像智能判讀：對(duì)肺結(jié)節(jié)、血管、乳腺鉬靶、骨齡等多類型影像進(jìn)行臨床醫(yī)學(xué)判讀，提示病灶位置、病灶類型、病灶性狀等信息，自動(dòng)化生成解讀報(bào)告，幫助臨床提高病灶定性解讀能力、病灶量化分析能力。可對(duì)同一個(gè)患者的多次同類型檢查進(jìn)行病灶配準(zhǔn)，對(duì)病灶變化進(jìn)行信息提取，也可通過臨床醫(yī)生自建的模型進(jìn)行影像數(shù)據(jù)判讀，如圖5所示。

圖5 肝臟病灶識(shí)別診斷圖

　　臨床Web應(yīng)用：利用生成的臨床模型，生成Web臨床應(yīng)用，可支持醫(yī)生使用新患者的數(shù)據(jù)，進(jìn)行表單的錄入，以實(shí)現(xiàn)對(duì)病人的預(yù)測(cè)及分析，輸出診斷結(jié)果及具體概率。

　　API接口調(diào)用：提供API調(diào)用的方式進(jìn)行應(yīng)用場(chǎng)景支持，在PACS業(yè)務(wù)系統(tǒng)中，可通過API形式調(diào)用影像判讀模型進(jìn)行影像判讀與結(jié)果分析;在診療過程中，通過門診、住院醫(yī)生站調(diào)用API，傳入現(xiàn)病史、檢查檢驗(yàn)結(jié)果等數(shù)據(jù)，可獲取到臨床診療模型的疾病預(yù)測(cè)結(jié)果。

　　4)統(tǒng)計(jì)分析

　　集成現(xiàn)有SAS、R、Python等編程分析工具，可對(duì)特定醫(yī)學(xué)科研場(chǎng)景提供全流程統(tǒng)計(jì)分析設(shè)計(jì)與報(bào)告，包括數(shù)據(jù)預(yù)處理、統(tǒng)計(jì)描述、結(jié)果輸出及統(tǒng)計(jì)報(bào)告生成。提供描述性統(tǒng)計(jì)、數(shù)據(jù)分布探索及組間比較、相關(guān)性分析、危險(xiǎn)因素分析等30余種分析方法，內(nèi)嵌設(shè)計(jì)好的語(yǔ)句，智能化根據(jù)數(shù)據(jù)類型進(jìn)行相應(yīng)統(tǒng)計(jì)分析，自動(dòng)輸出中英文統(tǒng)計(jì)分析報(bào)告，如圖6所示。

圖6 統(tǒng)計(jì)分析方法圖

3應(yīng)用效果

　　經(jīng)過兩年的項(xiàng)目建設(shè)，醫(yī)學(xué)AI能力生成服務(wù)平臺(tái)已完成我院自1999年以來(lái)的1千余萬(wàn)名患者、5千余萬(wàn)份病歷、30余萬(wàn)份影像序列的數(shù)據(jù)治理，形成臨床結(jié)構(gòu)化條目近萬(wàn)個(gè)。近3個(gè)月，已為全院臨床科室提供了近5000次數(shù)據(jù)搜索服務(wù)，基于該平臺(tái)共建立了121個(gè)項(xiàng)目研究隊(duì)列，為臨床研究提供了數(shù)據(jù)與工具支撐。形成了乳腺癌、肝癌兩大病種的圖文一體庫(kù)，影像結(jié)構(gòu)化條目212個(gè)，基于圖文一體庫(kù)共建立了42個(gè)回顧性研究隊(duì)列，13個(gè)前瞻性研究隊(duì)列。同時(shí)，平臺(tái)提供了肺分割模型、肝臟分割模型等28個(gè)影像模型，14個(gè)臨床模型，30余種統(tǒng)計(jì)學(xué)分析方法，如圖7所示。

圖7 應(yīng)用效果圖

　　醫(yī)學(xué)AI能力開放與應(yīng)用服務(wù)平臺(tái)形成了從數(shù)據(jù)采集、模型建立、統(tǒng)計(jì)分析于一體的顆粒化、流程化功能模塊，使醫(yī)生可以在無(wú)需編程能力的情況下進(jìn)行AI算法的構(gòu)建和訓(xùn)練，進(jìn)一步打破了AI應(yīng)用在臨床問題研究上的技術(shù)和工程阻礙，提升了臨床研究流程的效率和產(chǎn)出。同時(shí)，臨床醫(yī)生可以將訓(xùn)練好的AI模型根據(jù)特定目標(biāo)組裝成臨床數(shù)據(jù)處理流，并可分享給其他臨床醫(yī)生使用，通過上傳所需分析的臨床數(shù)據(jù)，即可獲得模型預(yù)測(cè)結(jié)果，從而實(shí)現(xiàn)科研到應(yīng)用的快速轉(zhuǎn)化。

4總結(jié)展望

　　醫(yī)學(xué)AI能力生成服務(wù)平臺(tái)聚焦臨床研究與診療場(chǎng)景，依托大數(shù)據(jù)與人工智能相關(guān)技術(shù)，探索了流程化、自主化的服務(wù)模式，重點(diǎn)解決了“數(shù)據(jù)制備—數(shù)據(jù)標(biāo)注—建模訓(xùn)練—統(tǒng)計(jì)分析—知識(shí)構(gòu)建—應(yīng)用服務(wù)”全鏈條的關(guān)鍵技術(shù)集成，最終實(shí)現(xiàn)產(chǎn)品化與臨床應(yīng)用。接下來(lái)，將重點(diǎn)從功能建設(shè)、應(yīng)用評(píng)估兩個(gè)角度重點(diǎn)評(píng)價(jià)平臺(tái)的性能指標(biāo)和應(yīng)用效果，形成循環(huán)反饋與改進(jìn)機(jī)制，促進(jìn)迭代優(yōu)化。

　　平臺(tái)應(yīng)用還可結(jié)合臨床專家經(jīng)驗(yàn)，在診療標(biāo)準(zhǔn)建設(shè)、診斷治療評(píng)價(jià)等方面發(fā)揮AI算法優(yōu)勢(shì)，提升診斷、治療、預(yù)后等環(huán)節(jié)的規(guī)范化和同質(zhì)化服務(wù)能力。同時(shí)，平臺(tái)所建立的預(yù)測(cè)、分類、推理等技術(shù)能力，可在病歷質(zhì)控、危急值預(yù)警、DRG預(yù)測(cè)等方面進(jìn)行深度拓展，實(shí)現(xiàn)AI技術(shù)輔助醫(yī)療管理的目標(biāo)。

　　申報(bào)單位：陸軍軍醫(yī)大學(xué)第一附屬醫(yī)院(西南醫(yī)院)

　　聯(lián)合申報(bào)單位：北京深睿博聯(lián)科技有限責(zé)任公司

　　技術(shù)方向：大數(shù)據(jù)、醫(yī)學(xué)人工智能

　　業(yè)務(wù)領(lǐng)域：臨床應(yīng)用、醫(yī)學(xué)科研