衛(wèi)寧健康:基于AI引擎的骨齡輔診系統(tǒng)
本案例獲得CHIMA 2020醫(yī)院新興技術(shù)創(chuàng)新應(yīng)用典型案例“醫(yī)學(xué)人工智能創(chuàng)新應(yīng)用”方向三等獎(jiǎng)。
來(lái)自國(guó)家健康衛(wèi)生領(lǐng)域綱領(lǐng)性文件《健康中國(guó)行動(dòng)(2019—2030年)》的統(tǒng)計(jì)數(shù)據(jù)顯示:我國(guó)7~18歲城市男生和女生的肥胖檢出率已達(dá)到11.1%和5.8%,與此同時(shí),兒童性早熟率也達(dá)到了約1%。這與我國(guó)目前小兒常見(jiàn)內(nèi)分泌問(wèn)題——兒童的長(zhǎng)個(gè)息息相關(guān)。在臨床上,骨齡能更加準(zhǔn)確地反映個(gè)體的生長(zhǎng)發(fā)育水平和成熟程度。然而不同于其它技術(shù)的進(jìn)步,現(xiàn)在的骨齡鑒定法依然使用上世紀(jì)50年代發(fā)明的方法。傳統(tǒng)的骨齡片研判有兩種方法:
一是G-P圖譜法。由于其使用簡(jiǎn)便、直觀、耗時(shí)短,被國(guó)內(nèi)外臨床專(zhuān)家廣泛采用。然而由于許多兒童手腕骨的發(fā)育不像標(biāo)準(zhǔn)片均衡,G-P法在使用過(guò)程中仍然存在主觀性及不精確性問(wèn)題。
二是TW3計(jì)分法。TW3法精確但較為繁瑣,耗時(shí)長(zhǎng),需對(duì)橈-尺-掌指骨及腕部共20塊骨分別做8個(gè)等級(jí)的評(píng)分和計(jì)算,即便使用計(jì)算機(jī)軟件也需耗時(shí)15分鐘,臨床實(shí)際工作中難以推行。
通過(guò)本案例的建設(shè)和應(yīng)用,在骨影像輸入后,基于AI引擎的骨齡輔診系統(tǒng)可迅速完成找骨骼、定級(jí)、判定和輸出結(jié)果。利用深度學(xué)習(xí)技術(shù),結(jié)合TW3計(jì)分法、GP圖譜法等骨齡判讀標(biāo)準(zhǔn),判斷每塊手骨的特征,檢測(cè)精確度可達(dá)到0.1歲,骨齡值誤差在3個(gè)月以?xún)?nèi),從而有效規(guī)避傳統(tǒng)骨齡研判方法存在的弊端,快速輔助醫(yī)院完成兒童骨齡檢測(cè),判定兒童生長(zhǎng)發(fā)育水平和成熟度。
(1)基于深度學(xué)習(xí)的骨齡輔診系統(tǒng)
圖1 骨齡輔診系統(tǒng)
通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)等系統(tǒng),判定并勾畫(huà)出骨齡生長(zhǎng)發(fā)育關(guān)鍵部位,提取關(guān)鍵部位骨齡影像學(xué)高維特征,實(shí)現(xiàn)對(duì)于兒童骨齡的精準(zhǔn)判斷。
(2)基于自然語(yǔ)言處理的報(bào)告應(yīng)用系統(tǒng)
借助機(jī)器學(xué)習(xí)技術(shù),從復(fù)雜的碎片化醫(yī)療信息文本中,自動(dòng)化、半自動(dòng)化的抽取醫(yī)療語(yǔ)義本體及相互之間的關(guān)系,針對(duì)骨齡專(zhuān)科文本數(shù)據(jù)建立術(shù)語(yǔ)詞典,實(shí)現(xiàn)骨齡檢查報(bào)告文本的自動(dòng)分詞;借助人工智能算法實(shí)現(xiàn)骨齡檢測(cè)報(bào)告文本的語(yǔ)義分析,實(shí)現(xiàn)骨齡專(zhuān)科語(yǔ)言的實(shí)體識(shí)別和關(guān)系識(shí)別,將骨齡檢查報(bào)告轉(zhuǎn)化為結(jié)構(gòu)化的指標(biāo)數(shù)據(jù);形成骨齡檢查專(zhuān)病指標(biāo)庫(kù),借助大數(shù)據(jù)分析手段實(shí)現(xiàn)骨齡檢查指標(biāo)與骨齡發(fā)育情況的關(guān)聯(lián)關(guān)系模型。
(3)一體化影像采集、融合服務(wù)
圖2 影像采集、融合一體化
在本案例中,骨齡輔診系統(tǒng)與院內(nèi)PACS、RIS系統(tǒng)高度整合,實(shí)現(xiàn)從影像采集、影像檢測(cè)、報(bào)告生成在內(nèi)的一體化融合服務(wù),整體業(yè)務(wù)流程如下:
使用DICOM3.0的標(biāo)準(zhǔn)通信協(xié)議,從PACS系統(tǒng)中自動(dòng)獲得骨齡的X光片;
自動(dòng)識(shí)別骨齡參數(shù);
將參數(shù)和最終的骨齡判斷發(fā)送給RIS;
RIS系統(tǒng)將這些參數(shù)整合進(jìn)入模板;
和患者等級(jí)年齡進(jìn)行比較,確定骨齡是提前還是延后;
給出最終的骨齡報(bào)告;
關(guān)鍵技術(shù)或產(chǎn)品描述。
(1)基于CH Bone AI模型的骨齡影像識(shí)別
圖3 CH Bone AI模型處理流程
本案例進(jìn)一步研發(fā)了基于整張手腕部DR影像深度學(xué)習(xí)特征的BA回歸模型,使模型自主學(xué)習(xí)手腕部影像中對(duì)BA檢測(cè)所有有益結(jié)構(gòu)形態(tài)特征和區(qū)域,實(shí)現(xiàn)精確自動(dòng)化BA預(yù)測(cè)。其中,回歸BA選用L1損失和L2損失相結(jié)合的聯(lián)合損失函數(shù),即(L1損失平均絕對(duì)誤差<MAE>,L2損失均方誤差<MSE>,L1損失對(duì)異常數(shù)據(jù)的魯棒性較好,L2損失在靠近目標(biāo)值時(shí)梯度較小、更容易訓(xùn)練),參與卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練,以最小化類(lèi)內(nèi)特征距離和最大化類(lèi)間特征距離,提高特征的鑒別能力,并避免訓(xùn)練過(guò)程過(guò)慢,從而進(jìn)一步提高BA影像分類(lèi)識(shí)別性能和檢測(cè)效率,效果比較魯棒。
同時(shí),本案例采用了Adam這種可以替代傳統(tǒng)隨機(jī)梯度下降過(guò)程的一階優(yōu)化算法,實(shí)現(xiàn)基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)權(quán)重;運(yùn)用Grad-cam方法,實(shí)現(xiàn)根據(jù)特征圖的梯度和激活情況來(lái)顯示出模型所關(guān)注的區(qū)域。
總之,比較以往根據(jù)指定區(qū)域特征學(xué)習(xí)和預(yù)測(cè)BA模型,CH Bone AI模型實(shí)現(xiàn)了基于整張手腕部DR影像高階特征學(xué)習(xí)和預(yù)測(cè)BA,實(shí)現(xiàn)了端到端深度學(xué)習(xí),并應(yīng)用神經(jīng)網(wǎng)絡(luò)的注意力機(jī)制,通過(guò)熱力圖實(shí)現(xiàn)了數(shù)據(jù)模型可視化。
圖4 驗(yàn)證集
圖5 測(cè)試集
(2)基于自然語(yǔ)言處理的報(bào)告應(yīng)用系統(tǒng)
借助機(jī)器學(xué)習(xí)技術(shù),從復(fù)雜的碎片化醫(yī)療信息文本中,通過(guò)自動(dòng)化、半自動(dòng)化的方式抽取醫(yī)療語(yǔ)義本體及相互之間的關(guān)系,對(duì)骨齡檢查報(bào)告進(jìn)行分詞,挖掘骨齡檢查報(bào)告分析指標(biāo),構(gòu)成骨齡檢查專(zhuān)病指標(biāo)庫(kù),其中包括骨齡指標(biāo)維護(hù)、骨齡分詞管理與維護(hù)、數(shù)據(jù)描繪和骨齡病例索引基于知識(shí)圖數(shù)據(jù)庫(kù)構(gòu)建醫(yī)療本體語(yǔ)義網(wǎng)絡(luò)。
結(jié)合中國(guó)兒童骨齡分詞詞典,生成符合臨床醫(yī)生診斷模式的影像學(xué)輔助報(bào)告,放射學(xué)診斷意見(jiàn)。通過(guò)關(guān)聯(lián)其他數(shù)據(jù),以及大數(shù)據(jù)挖掘和后結(jié)構(gòu)化分析模塊,給出最后的骨齡年齡判斷。在這個(gè)過(guò)程中,運(yùn)用了包括分詞線程、數(shù)據(jù)抽取、分詞處理等自然語(yǔ)言處理技術(shù),以及包括骨齡檢測(cè)詞典在內(nèi)的專(zhuān)業(yè)醫(yī)療詞典數(shù)據(jù)作為分詞處理的基礎(chǔ)支撐。
圖6 報(bào)告應(yīng)用系統(tǒng)
在最終的檢查報(bào)告中,包括檢測(cè)部位、影像學(xué)表現(xiàn)和診斷結(jié)論,生成的報(bào)告可以一鍵導(dǎo)入RIS系統(tǒng)并支持修改,提升整體使用效率。
衛(wèi)寧健康的骨齡檢測(cè)產(chǎn)品影像定位準(zhǔn)確率達(dá)到98%。平均處理每張影像耗時(shí)0.4秒。常用評(píng)價(jià)骨齡檢測(cè)方法的指標(biāo)是平均絕對(duì)誤差(MAE),MAE是指測(cè)得骨齡與臨床骨齡之差的絕對(duì)值。
上海市兒童醫(yī)院:
2017年,衛(wèi)寧健康攜手上海市兒童醫(yī)院開(kāi)始研發(fā)CHBoneAI模型。經(jīng)過(guò)一年多的訓(xùn)練、測(cè)試及驗(yàn)證,在2018年初開(kāi)始試運(yùn)行,4月正式臨床應(yīng)用。
在隨后的使用過(guò)程中經(jīng)過(guò)不斷的打磨,醫(yī)生的采納率從最初的95%達(dá)到了目前的99%。同時(shí),在上海市兒童醫(yī)院通過(guò)HIMSS 7的評(píng)審過(guò)程中,評(píng)審專(zhuān)家一致認(rèn)為上海市兒童醫(yī)院在醫(yī)療人工智能上的探索讓人驚艷。
截止到2020年10月,共檢測(cè)121,977例病例。以每月22個(gè)工作日計(jì)算,每天約進(jìn)行184例檢測(cè)。每天可以為醫(yī)生節(jié)省4,048分鐘(22分鐘*184例),一年按320天計(jì)算,全年節(jié)省1,295,360分鐘,合計(jì)約21,589小時(shí)。
通過(guò)本案例的建設(shè)和應(yīng)用,在骨影像輸入后,人工智能可迅速完成找骨骼、定級(jí)、判定和輸出結(jié)果。利用深度學(xué)習(xí)技術(shù),結(jié)合TW3計(jì)分法、GP圖譜法等骨齡判讀標(biāo)準(zhǔn),判斷每塊手骨的特征,檢測(cè)精確度可以達(dá)到0.1歲,骨齡值誤差在3個(gè)月以?xún)?nèi)。
在未來(lái),該項(xiàng)目對(duì)于中國(guó)健康兒童大樣本骨齡數(shù)據(jù)庫(kù)的建立、我國(guó)骨發(fā)育評(píng)價(jià)標(biāo)準(zhǔn)的制定、兒科醫(yī)聯(lián)體的共贏協(xié)作和健康發(fā)展等方面有著良好的促進(jìn)作用和推動(dòng)作用。
(1)推動(dòng)中國(guó)健康兒童大樣本骨齡數(shù)據(jù)庫(kù)的建立
長(zhǎng)期以來(lái),我國(guó)缺乏大樣本的骨齡和身高長(zhǎng)期追蹤觀察數(shù)據(jù),中國(guó)健康兒童的骨齡數(shù)據(jù)庫(kù)并未建立起來(lái)。本案例建設(shè)不僅有利于提高醫(yī)院自身的學(xué)科建設(shè)和診療水平,同時(shí)也有利于建立社會(huì)公共人口健康樣本數(shù)據(jù)和信息資源,將院內(nèi)涉及個(gè)人隱私信息進(jìn)行脫敏處理后,為社會(huì)提供更大價(jià)值的利用,有利于推動(dòng)中國(guó)健康兒童大樣本骨齡數(shù)據(jù)庫(kù)的建立,進(jìn)而為中國(guó)兒童提供更全面的健康分析和更精準(zhǔn)的醫(yī)療服務(wù)。
(2)推動(dòng)我國(guó)骨發(fā)育評(píng)價(jià)標(biāo)準(zhǔn)的制定
人的骨骼生長(zhǎng)發(fā)育受到遺傳因素、營(yíng)養(yǎng)水平、飲食習(xí)慣、地理環(huán)境、人文環(huán)境等多重因素的影響,不同年代、不同種族和區(qū)域的兒童青少年的發(fā)育會(huì)有所不同。所以,針對(duì)不同民族和區(qū)域,應(yīng)當(dāng)制定相應(yīng)的骨發(fā)育評(píng)價(jià)標(biāo)準(zhǔn),并隨社會(huì)發(fā)展因素的變化及時(shí)修訂。
隨著基于AI引擎的骨齡輔助診斷應(yīng)用的研發(fā)與運(yùn)用,衛(wèi)寧健康將和醫(yī)療機(jī)構(gòu)一起共同推動(dòng)建立中國(guó)兒童青少年骨齡判讀標(biāo)準(zhǔn)。
(3)促進(jìn)兒科醫(yī)聯(lián)體的共贏協(xié)作和健康發(fā)展
對(duì)兒科醫(yī)聯(lián)體,以技術(shù)合作和利益共贏為紐帶,通過(guò)簽訂合作協(xié)議,建立技術(shù)支持、人員培訓(xùn)、雙向轉(zhuǎn)診、遠(yuǎn)程醫(yī)療、費(fèi)用結(jié)算等制度,促使聯(lián)合體內(nèi)醫(yī)療機(jī)構(gòu)之間的業(yè)務(wù)協(xié)作。建立遠(yuǎn)程會(huì)診專(zhuān)家團(tuán)隊(duì)、建立專(zhuān)科團(tuán)隊(duì)、建立典型病例資料庫(kù)。通過(guò)骨齡檢測(cè)和診斷資料庫(kù),對(duì)醫(yī)聯(lián)體內(nèi)存儲(chǔ)的醫(yī)學(xué)影像數(shù)據(jù)、骨齡數(shù)據(jù)進(jìn)行深度挖掘,為進(jìn)一步提高醫(yī)聯(lián)體內(nèi)醫(yī)療教學(xué)水平、科研水平提供信息支撐。