2021年醫院新興技術創新應用典型案例征集活動共選出21篇典型案例，將于CHIMA2021大會上進行頒獎。

長期以來，中山大學附屬第一醫院（以下簡稱“中山一院”）超聲科存在以下痛點：

中山一院超聲科一直在尋求一種利用語音代替打字員的系統，采用虛擬助手輔助超聲檢查報告錄入，結合超聲診斷學知識、語音識別技術、自然語言理解知識庫等多學科跨領域實現超聲檢查報告的語音錄入，可減少或無需配備錄入員。通過超聲檢查醫師口述超聲檢查的超聲描述及超聲結論等信息，自動生成超聲報告，或者配合超聲報告模板，自動填充相應數值，提高了超聲檢查報告的錄入效率和質量。

經過近一年的技術攻關，成功將智能語音技術應用于中山一院超聲科超聲檢查場景中，實現單人全過程語音操控，完成超聲報告的智能化語音錄入，優化患者的就醫流程，提高超聲科醫生的工作效率，獲得超聲科醫生的高度評價，效果如圖1所示。

圖1 超聲檢查過程中語音錄入報告效果圖

結合國家制定的超聲檢查標準及中山一院特色的超聲檢查內容，我們對超聲模板內容進行了詳細的收集。為了讓模板更貼合實際使用的場景，中山一院深度定制的超聲語音報告模板、交互邏輯以及相應口述說法的確認。

1）端點檢測

端點檢測是對輸入的音頻流進行分析，確定用戶說話的有效語音的過程。一旦檢測到語音流中的靜音段或非人聲等無效語音，即自動刪除無效部分，保留有效語音。這種方式保障識別引擎處理是說話人的聲音，并為后面的特征提取部分提供準確的有效語音，提高準確度。

2）噪聲消除

在實際應用中，背景噪聲對于聲紋識別應用是一個現實的挑戰，即便說話人處于安靜的辦公室環境，在電話語音通話過程中也難以避免會有一定的噪聲。InterVeri聲紋識別系統具備高效的噪音消除能力，以適應用戶在千差萬別的環境中應用的要求。

語音識別引擎提供關鍵字語音識別和連續語音識別，具備優秀的識別率，提供全面的開發支持及豐富的工具，易于使用。

針對語音識別應用中面臨的方言口音、背景噪聲等問題，基于實際業務系統中所收集的涵蓋不同方言和不同類型背景噪聲的海量語音數據，通過先進的區分性訓練方法進行語音建模，使語音識別在復雜應用環境下均有良好的效果表現。

基于深度學習的語音識別技術，因為采用海量數據進行學習和訓練（一般需要數十萬小時的語音數據），不同的噪聲類型和口音都可以通過人工智能和機器學習的方法進行學習，從而對噪聲和用戶的不同口音都有比較好的覆蓋，這也是語音識別技術可以得到更廣泛應用的最先決的條件。

（3）語音內容提取與分析

語音的內容提取與分析技術研究，針對語音內容的自動轉寫方面，擬采用的技術路線分為三個階段，分別是：

1）針對語音端點檢測與說話人分離

計劃收集各種應用場景下的非語音數據，使用深度神經網絡技術進行語音與非語音建模，實現高質量的語音端點檢測；另外，計劃利用BIC(Bayesian Information Criterion)距離在短時上的優勢，同時結合PLDA(Probabilistic Linear Discriminant Analysis)在長時聲紋相似性評估上的優勢，采用兩階段的方法進行分離，充分提高說話人分離的類純度。

2）面向口語化風格的聲學模型

針對口語化發音更加多樣化的問題，一方面，計劃研究萬小時以上的海量語音數據條件下的聲學建模，通過收集各種發音風格，提高聲學模型對發音變化的覆蓋性；另一方面，針對口語化導致的語速快、吞音、回讀等問題，計劃采用基于模型域、特征域以及特殊音素建模的方法，減少口語化問題的影響；第三方面，計劃采用具有時序建模能力的循環神經網絡，結合對音素、說話人、環境的預測，進一步提高聲學建模能力。

3）面向口語化風格的語言模型

針對口語對話產生的回讀、不通順、語氣詞等問題，計劃使用基于字與基于詞結合的循環神經網絡建模技術、語義語言模型技術等逐步減少口語化問題的影響。針對語音轉寫可用充分利用長時信息的特點，計劃采用基于N-Gram的篇章級語言模型技術、以及基于循環神經網絡的篇章級自適應技術，進一步提高語言模型建模能力。

針對語音轉寫結果基礎上的內容理解及摘要，采用的技術路線為：

1）語音轉寫結果的可讀性提升

計劃使用基于多信息融合及基于聲學屬性識別的聲學置信度技術，并結合語義信息，進一步提升異常語音的檢測能力；計劃研究基于CRF(Conditional Random Field)模型的標點技術、基于CRF模型的句子順滑及基于最大熵模型的關鍵信息抽取等技術，通過這些技術的組合，進一步改善轉寫內容的可閱讀性。

2）語義段落的自動劃分

基于句子級別語義聚類和關聯邏輯關系的分析，以及一些特殊的提示型詞匯、停頓長度等額外信息，自動將較長的內容轉寫結果切分為語義相對獨立的若干個段落，為關鍵信息和摘要做準備。

3）語義摘要

借鑒傳統的文本自動摘要，并根據語音中說話人、語氣強調重復等信息，自動對每一段語音進行關鍵信息的抽取和自動摘要。

為了讓系統有更好的體驗效果，以及后續對數據的科研運用，語音錄入系統跟超聲報告系統實現了相互融合：

1）報告界面調用語音錄入系統

檢查醫生在登錄超聲報告系統后，可以在報告書寫界面直接調用語音錄入系統，兩個系統之間通過標準的HL7協議接口實現患者數據和檢查數據的同步。

2）結構化報告通過二維表方式返寫回報告系統

在語音錄入系統生成的結構化報告，可以通過二維表同步的方式回寫到超聲報告系統中，從而實現報告系統的結構化存儲，為后續科室的科研、統計等工作提供更多便利。

精細化的醫技檢查數據是臨床科研的重要支撐，結構化的檢查報告數據通過嚴格的授權可以支撐醫院專病數據庫的建設，加強超聲科與臨床科研的互動合作。

超聲AI語音助手通過語音進行模板內容的錄入，實現全程語音交互與結構化報告輸入功能，支持常用超聲模板，排除閑聊功能，直接將關鍵信息上到報告相應位置，實現一人同步完成超聲檢查和報告錄入操作，最后只需做少許調整即可輸出打印超聲報告，極大提高醫生的工作效率。

自超聲AI語音助手在醫院超聲科室上線以來，累計完成報告數5723份，其中高頻使用前五的模板分別為“腎模板”1951份、“肝膽胰脾”1774份、“甲狀腺頸部”1723份、“乳腺腋窩”877份和“頸部血管”467份。

經現場跟診評估，以標準腹部《肝膽胰脾彩超》檢查為例，原檢查+手工報告書寫流程平均7分鐘。在僅使用語音輸入法情形下，流程耗時6分鐘，效率提升16%。在使用超聲語音助理系統場景下，流程耗時4分40秒，效率提升31%，且病人檢查過程中即完成報告，無需單獨書寫。檢查過程中需要進行超聲造影、病灶等大段額外描述時，語音提升80%完成效率，僅需對格式進行微調即可。檢查過程中無需助手輔助書寫，醫生獨立完成數值填值、超聲所見描述、超聲結論匯總，一定程度減少人力投入。

由語音錄入系統生成的結構化報告，無需進行繁瑣的后結構化過程即可滿足科研數據檢索、統計分析的要求，并可針對科研需要進行進一步的內容分類，便于研究者分析患者病情與影像學表現，發現超聲表現、歷史就診記錄與疾病情況的關聯，為研究提供數據支撐。

圖2 以肝膽胰脾彩超檢查為例

超聲AI語音助手在中山一院超聲科的成功應用，標志著醫院智能化水平邁上一個新的臺階。將超聲科檢查報告雙人協同的工作模式變革為單人全過程語音操控，實現醫生邊檢查邊進行報告錄入，不僅提高了醫生報告錄入效率，而且能夠實現所說即說得的報告書寫效果。在節省錄入員人力成本的同時，通過超聲報告質檢功能保障報告質量，使醫生更專注于對患者的醫療服務，醫患溝通更加融洽。下一步，中山一院將探索智能語音技術在其他醫技科室及臨床科室的場景應用，將智能語音融入到臨床診療過程中，用人工智能賦能醫務人員，真正為醫務人員帶來便捷的工作幫手，打造符合醫院特色的智慧醫院建設模式。