“手術(shù)機器人未來的發(fā)展就是要讓一些普通手術(shù)變成‘傻瓜式’的，無論是誰來做這個手術(shù)效果都一樣。只有這樣才能實現(xiàn)病人的分流，大家才愿意去基層醫(yī)院看玻”
“我覺得數(shù)據(jù)的分享問題需要從政府層面推動監(jiān)管，還要讓醫(yī)院有動力來分享，醫(yī)院在提供數(shù)據(jù)后，訓練的模型提高了他們的工作效率，實現(xiàn)了好的手術(shù)效果，他們才會更樂意去分享。”
腦部是人體最為復雜和重要的器官之一，這使得腦部手術(shù)十分復雜、風險極高。多年來，許多醫(yī)生提出了腦部手術(shù)的解決方案，但限于技術(shù)原因仍停留在理論階段，AI大模型等新技術(shù)和機器人的結(jié)合，則為復雜的腦科手術(shù)提供了一種解決路徑。
“增強現(xiàn)實技術(shù)和機器人的結(jié)合可以為醫(yī)生呈現(xiàn)三維建模的仿真畫面，還可以使用AI算法識別人體解剖學結(jié)構(gòu)。”中國科學院香港創(chuàng)新研究院人工智能與機器人創(chuàng)新中心執(zhí)行主任劉宏斌告訴澎湃科技（www.thepaper.cn），“通過AI大數(shù)據(jù)模型，醫(yī)生可以讓機器輔助他判斷目前的手術(shù)進行到哪一階段，有哪些需要注意的事項，進行實時提醒。”
劉宏斌主持研發(fā)了該中心的Embodied AI多模態(tài)手術(shù)大模型和MicroNeuro微創(chuàng)腦手術(shù)柔性機器人系統(tǒng)，以實現(xiàn)AI與機器人協(xié)作，輔助醫(yī)生進行微創(chuàng)腦手術(shù)。這兩款產(chǎn)品在剛剛結(jié)束的2023世界人工智能大會上進行了展示。
不過，大模型在手術(shù)領(lǐng)域的應(yīng)用仍然任重道遠。劉宏斌指出，就目前大模型的水平來說，仍然需要真人醫(yī)生把控。此外，要實現(xiàn)質(zhì)量更高的大模型訓練，必須打通和強化數(shù)據(jù)分享，比如一些罕見病，在某個地方病例很少，而在另一個地方可能有多得多的病例。
劉宏斌還提出，AI可以助力分級診療的實現(xiàn)。“我們研發(fā)這些AI算法并不是為了幫助閱歷豐富的臨床專家，而是為了幫助一些缺少練手機會的醫(yī)生。”他說，“手術(shù)機器人未來的發(fā)展就是要讓一些普通手術(shù)變成‘傻瓜式’的，無論是誰來做這個手術(shù)效果都一樣。只有這樣才能實現(xiàn)病人的分流，大家才愿意去基層醫(yī)院看玻”
MicroNeuro微創(chuàng)腦手術(shù)機器人展示。
延伸醫(yī)生的手、眼、腦
澎湃科技：能否介紹一下中科院香港創(chuàng)新院人工智能與機器人創(chuàng)新中心目前從事的研究？
劉宏斌：目前主要聚焦醫(yī)療健康領(lǐng)域，包括基于AI的腦手術(shù)現(xiàn)實增強及導航技術(shù)、Embodied AI多模態(tài)手術(shù)大模型、未來具身智能手術(shù)室以及MicroNeuro微創(chuàng)腦手術(shù)機器人。其中未來具身智能手術(shù)室是較為長遠的總體目標，將集成創(chuàng)新中心各類人工智能、機器人技術(shù)。
MicroNeuro是國際上第一個用于微創(chuàng)神經(jīng)外科的柔性機器人系統(tǒng)。腦外科醫(yī)生可以操作機器人到達腦部深處，并進行穩(wěn)、準、可見的智能化微創(chuàng)手術(shù)，同時將腦組織損傷降低50%以上。MicroNeuro還集成了AI多模態(tài)手術(shù)大模型，能夠在手術(shù)過程中實時融合視覺、觸覺等多模態(tài)信息，協(xié)助醫(yī)生對手術(shù)場景進行實時推理判斷。該模型不止有語言功能，還有分析實時影像信息的多模態(tài)能力，比如內(nèi)窺鏡超聲等功能模塊已經(jīng)集成到了大模型里，專門面向手術(shù)垂直應(yīng)用領(lǐng)域。
澎湃科技：如何解釋未來具身智能手術(shù)室的概念？
劉宏斌：未來具身智能手術(shù)室是一個集成性的概念，現(xiàn)在的手術(shù)室只是醫(yī)生做手術(shù)的空間，但未來的手術(shù)室其本體可能就是一個機器人，或者說一個智能的技術(shù)集合體。它的組成部分包括：微創(chuàng)手術(shù)機器人，是醫(yī)生手的延伸；各種各樣的成像設(shè)備，比如內(nèi)窺鏡、手術(shù)室監(jiān)控攝像頭、超聲等實時影像設(shè)備，是醫(yī)生眼睛的延伸；AI大模型，部署在一個邊緣計算系統(tǒng)上，是醫(yī)生大腦的延伸。
澎湃科技：未來具身智能手術(shù)室目前發(fā)展情況如何？
劉宏斌：目前仍在起步階段，由于技術(shù)限制，沒辦法將所有技術(shù)集成在一個真正的手術(shù)室中，但很多子模塊的功能已經(jīng)開始實施。
其中有手術(shù)大模型Embodied AI在神經(jīng)內(nèi)鏡方向的應(yīng)用，現(xiàn)在已經(jīng)與香港威爾士親王醫(yī)院的神經(jīng)外科合作。在手術(shù)的過程中，AI可以比較準確地得出智能診斷建議，還可以對手術(shù)器械進行跟蹤、對不同的解剖學結(jié)構(gòu)進行辨識。對于AI大模型，醫(yī)生們的反饋也很積極，未來不只是一個醫(yī)生、一名護士受益，具身智能手術(shù)室將擁有增強一整個醫(yī)療團隊手術(shù)水平的能力。
澎湃科技：MicroNeuro微創(chuàng)腦手術(shù)機器人的特點是什么？取得了哪些突破？
劉宏斌：該手術(shù)機器人系統(tǒng)性的突破主要體現(xiàn)在兩方面，首先是對微小且柔軟器械的精準控制。比如，如何保證其在狹窄的空間里拐急彎時不失控。這一問題看起來很容易解決，但要想保證操作又穩(wěn)又準又靈活，實際上涉及到非常復雜的算法。
第二點突破在于技術(shù)間的結(jié)合，將手術(shù)大模型與機器人相結(jié)合能夠有效幫助醫(yī)生在高度緊張的情況下順利完成腦手術(shù)。做腦手術(shù)的一個痛點就在于，即使是經(jīng)驗非常豐富的醫(yī)生也很容易緊張，可能忘掉下一步該做什么。而通過AI大數(shù)據(jù)模型，醫(yī)生可以讓機器輔助他判斷目前的手術(shù)到了哪一階段，有哪些需要注意的事項，進行實時提醒。
此外，增強現(xiàn)實技術(shù)和機器人的結(jié)合也很重要，這里我需要特別提及一下，為什么神經(jīng)外科的手術(shù)機器人發(fā)展相比腹腔鏡機器人比較緩慢，其中很重要的原因就是神經(jīng)外科是一個高風險手術(shù)，容錯率非常低。
進入腦中做手術(shù)，醫(yī)生沒辦法通過肉眼來判斷機器人的交互情況，整個手術(shù)過程中只能看到前端內(nèi)窺鏡傳回來的畫面，視野極小，但深入腦部的器械全程都在腦組織進行接觸，這就需要非常精準的導航和增強現(xiàn)實技術(shù)彌補。我們的機器人又是一種可彎曲的柔性結(jié)構(gòu)，對導航系統(tǒng)的要求就更高。增強現(xiàn)實技術(shù)可以為醫(yī)生呈現(xiàn)三維建模的仿真畫面，還可以使用AI算法識別人體解剖學結(jié)構(gòu)，從而在虛實結(jié)合的狀態(tài)下進行手術(shù)。
去年開始，我們已經(jīng)在威爾士親王醫(yī)院做預臨床手術(shù)實驗，進行了三次尸體實驗，且成功率很高。通過這種預臨床實驗的模式，證明了與我們合作的醫(yī)生陳達明主任的一個想法，即現(xiàn)在很多需要開兩個顱骨上骨瘡的腦手術(shù)，通過微創(chuàng)機器人，可以簡化至只鉆一個小孔就能完成。相較于傳統(tǒng)方式，對腦組織的損傷可降低一半以上，且機器人的安全性、可靠性也已經(jīng)得到驗證。
增強現(xiàn)實技術(shù)可以為醫(yī)生呈現(xiàn)三維建模的仿真畫面，還可以使用AI算法識別人體解剖學結(jié)構(gòu)，從而在虛實結(jié)合的狀態(tài)下進行手術(shù)。
如何保護病人的隱私？
澎湃科技：Embodied AI手術(shù)大模型是如何開發(fā)出來的？具體能起到什么作用？
劉宏斌：我們中心由中科院自動化所領(lǐng)導，很多研發(fā)和自動化所協(xié)同進行，因此我們所使用的基礎(chǔ)大模型是“紫東太初”（注：中國科學院自動化研究所開發(fā)的多模態(tài)大模型）。
我們的手術(shù)垂直模型，除了使用公開的醫(yī)療數(shù)據(jù)庫訓練，還針對手術(shù)進行了專門的訓練，比如手術(shù)教科書、手術(shù)科研資料、手術(shù)論文，整理了大約有200G的語料。“紫東.太初”是多模態(tài)大模型，所以我們還使用了大量標注過信息的手術(shù)視頻進行跨模態(tài)訓練。
目前大模型在手術(shù)過程中可以幫助醫(yī)生看得更清楚，還可以給醫(yī)生做一些提示指導，包括在手術(shù)過程中判斷某些操作是不是符合流程規(guī)范。但是目前AI還不能自己做判斷。
澎湃科技：目前手術(shù)大模型在應(yīng)用過程中遇到了什么問題嗎？這些問題在醫(yī)療領(lǐng)域會不會產(chǎn)生嚴重后果？
劉宏斌：首先是大模型本身的技術(shù)瓶頸，比如有時候模型會出現(xiàn)“幻覺”，還有就是模型的算力不強。
醫(yī)療領(lǐng)域需要避免這些問題，所以我們在手術(shù)大模型上外掛了一個專家知識庫，對于AI來說，如果遇到特項手術(shù)會優(yōu)先調(diào)用專家知識庫中的信息。此外，AI做出的判斷會由一個醫(yī)生進行最終判定。就目前大模型的水平來說，仍然需要真人把控。
澎湃科技：是否涉及病人的數(shù)據(jù)隱私？
劉宏斌：我們在訓練模型的時候，數(shù)據(jù)是經(jīng)過脫敏處理的，對于醫(yī)療行業(yè)來說，我們有一個原則，疾病以及其在患者身上的表現(xiàn)的數(shù)據(jù)是可以用的，但絕對不能出現(xiàn)通過數(shù)據(jù)追溯到某個人的情況，打斷這個追溯的鏈條非常重要。
澎湃科技：數(shù)據(jù)難流通是否是目前AI醫(yī)療大模型面臨的問題？是否會帶來模型偏見？
劉宏斌：對于AI來說，肯定是高質(zhì)量數(shù)據(jù)越多，性能越穩(wěn)定，多樣性越好，可靠性越高。數(shù)據(jù)分享很重要，某些罕見病從人口基數(shù)上來看確實很罕見，但對于擅長專項治療的醫(yī)院，可能就不那么罕見了。一個四五線城市，某些特殊的口腔癌一年最多就兩個病例，但要去到湖南，到長沙湘潭醫(yī)院，一年幾千個病例都有可能。
我覺得數(shù)據(jù)的分享問題需要從政府層面推動監(jiān)管，還要讓醫(yī)院有動力來分享，醫(yī)院在提供數(shù)據(jù)后，訓練的模型提高了他們的工作效率，實現(xiàn)了好的手術(shù)效果，他們才會更樂意去分享。
什么是AI全流程數(shù)字化？
澎湃科技：醫(yī)療領(lǐng)域引入AI是否會帶來更多醫(yī)療糾紛問題？
劉宏斌：我覺得引入AI就是為了解決這些問題。很多醫(yī)療糾紛源自于，醫(yī)生按照流程合規(guī)進行手術(shù)，但“空口無憑”，很多患者、患者家屬并不相信，帶來很多矛盾、分歧。
但引入AI后，手術(shù)全流程數(shù)字化，每一項操作都有記錄，實現(xiàn)透明化，對于醫(yī)患雙方都是一個很好的保護。
澎湃科技：全流程數(shù)字化的醫(yī)療過程是什么樣的？
劉宏斌：第一個環(huán)節(jié)，患者把自己的一些癥狀告訴醫(yī)療機構(gòu)，然后醫(yī)療機構(gòu)分流至醫(yī)院，醫(yī)生看病例，然后通過病例來判斷是否要手術(shù)，進行什么類型的手術(shù)。
在這個過程中AI起輔助作用，如術(shù)前的一些檢查，拍CT、核磁、化驗血等，可使用多模態(tài)大模型對醫(yī)學影像、檢驗報告進行分析。
然后AI可進行手術(shù)規(guī)劃，這也是醫(yī)療元宇宙的概念，使用算法仿真整個手術(shù)流程，小到患者在手術(shù)臺上怎么躺，醫(yī)生都能清晰明了地看見模擬過程。
在開始正式手術(shù)之前，AI還會評測術(shù)前準備是否無誤，比如手術(shù)器械是否準備妥當、人員是否站位合理、是否經(jīng)過了嚴格的消毒程序。病人進手術(shù)室后，AI還要進行核對，確保開刀的位置正確，這個聽起來有點可笑，但其實每年都會發(fā)生這樣的事故。
手術(shù)過程中 ，AI和機器人共同輔助醫(yī)生完成手術(shù)流程，在手術(shù)過程中對安全性進行監(jiān)控，對一些重要的手術(shù)節(jié)點給予指導提醒，在手術(shù)過程中給醫(yī)生一些增強現(xiàn)實輔助。
如垂體瘤手術(shù)，這是一種經(jīng)鼻的微創(chuàng)手術(shù)，需要進入鼻腔，在鼻腔后部打開骨窗，從而到達腦部。這個過程中，有很多重要結(jié)構(gòu)需要避開，此前全憑醫(yī)生經(jīng)驗，而現(xiàn)在通過增強現(xiàn)實技術(shù)和AI算法，將影像仿真或投影到顯示器上，AI就可以隨時提醒醫(yī)生。
手術(shù)結(jié)束后，AI能夠客觀地記錄所有流程，未來還可以自動生成手術(shù)報告，核對每一條執(zhí)行是否準確無誤，這些信息跟隨進入病人的康復階段，輔助術(shù)后康復過程直至患者康復。
澎湃科技：引入AI是否會提高成本，增加患者負擔？
劉宏斌：首先看病的花銷不能只看一場手術(shù)，需要計算一個人從看病到恢復的整個周期耗費的時間、成本，引入AI增加了手術(shù)成本，卻加快了康復流程，這是完全可以接受的。還有就是技術(shù)要有不可替代性，實際上，現(xiàn)在很多微創(chuàng)化手術(shù)的想法，很多年前就已提出，只是AI的發(fā)展水平還有沒有跟上。而微創(chuàng)化恰恰是減少患者身體損害、加快恢復過程最主流的一種思路。
澎湃科技：AI能否解決醫(yī)療資源緊張問題？
劉宏斌：AI可以助力分級診療的實現(xiàn)，目前縣域醫(yī)療水平的提升以及分級診療的落實，并不能單純地依靠5G等通訊技術(shù)的賦能，更重要的是對于基層醫(yī)生的培訓。我們研發(fā)這些AI算法并不是為了幫助閱歷豐富的臨床專家，而是為了幫助一些缺少練手機會的醫(yī)生。比如基層醫(yī)生，他們接觸的病人少，就需要AI來對他們進行培訓，讓他們在診斷的時候因為有AI的加持更加有信心，同樣也讓病人更加信任他們。大模型不光只是幫醫(yī)生做出判斷，在使用的過程中，也是在給醫(yī)生一個從AI身上學習的機會。
我們目前面臨的難題并不是臨床專家無法通過遠程進行手術(shù)，而是專家數(shù)量有限。手術(shù)機器人未來的發(fā)展就是要讓一些普通手術(shù)變成“傻瓜式”的，無論是誰來做這個手術(shù)效果都一樣。只有這樣才能實現(xiàn)病人的分流，大家才愿意去基層醫(yī)院看玻
