太平洋科技要聞

首篇「虛擬現(xiàn)實(shí)+人工智能」綜述！浙大、港中深等發(fā)布AI醫(yī)療最新報(bào)告

新智元整合編輯：太平洋科技發(fā)布于：2024-08-27 16:24

人工智能（AI）加持下的虛擬現(xiàn)實(shí)（VR）技術(shù)已經(jīng)逐漸發(fā)展成了一個(gè)橫跨多個(gè)領(lǐng)域的交互式媒介，可以為用戶提供前所未有的沉浸式體驗(yàn)。在眾多應(yīng)用場(chǎng)景中，醫(yī)療被認(rèn)為是最具發(fā)展?jié)摿Φ念I(lǐng)域。

在本篇工作中，來(lái)自浙江大學(xué)、香港中文大學(xué)深圳以及圣母大學(xué)的研究人員對(duì)醫(yī)療領(lǐng)域的虛擬現(xiàn)實(shí)技術(shù)進(jìn)行了全面的審視，并進(jìn)行系統(tǒng)性的分類。

其中，吳逸璇與胡凱源為共同第一作者。

背景介紹

人工智能技術(shù)和虛擬現(xiàn)實(shí)技術(shù)的交叉融合是醫(yī)療領(lǐng)域中一個(gè)新興的前沿方向，人工智能技術(shù)和虛擬現(xiàn)實(shí)技術(shù)將當(dāng)前數(shù)據(jù)驅(qū)動(dòng)的分析和沉浸式的醫(yī)學(xué)診斷相結(jié)合，使之成為當(dāng)前醫(yī)療保健領(lǐng)域中的關(guān)鍵研究方向。

該項(xiàng)綜述的目的是深入探討AI加持下的虛擬現(xiàn)實(shí)技術(shù)在醫(yī)療場(chǎng)景中的技術(shù)細(xì)節(jié)、工作流程，以及下游應(yīng)用，同時(shí)評(píng)估其對(duì)醫(yī)療服務(wù)效率、準(zhǔn)確性和有效性的影響。

為了系統(tǒng)性地理解和分析AI在醫(yī)學(xué)虛擬現(xiàn)實(shí)的應(yīng)用，本文提出了一個(gè)全新的分類方法，將當(dāng)前相關(guān)領(lǐng)域的工作分類三個(gè)主要類別：醫(yī)學(xué)視覺(jué)增強(qiáng)、VR醫(yī)學(xué)數(shù)據(jù)處理，以及VR輔助干預(yù)。這種分類方法幫助我們?nèi)媪私猱?dāng)前醫(yī)療VR場(chǎng)景下AI技術(shù)的最新進(jìn)展：

醫(yī)學(xué)視覺(jué)增強(qiáng)：著重于提升醫(yī)療人員在虛擬空間中的視角感知，有助于幫助醫(yī)療人員理解錯(cuò)綜復(fù)雜的解剖結(jié)構(gòu)以及空間關(guān)系。該類別分為兩個(gè)子領(lǐng)域：虛擬物體重建和虛擬視覺(jué)增強(qiáng)

VR醫(yī)學(xué)數(shù)據(jù)處理：主要探討當(dāng)前VR系統(tǒng)對(duì)于分析和理解復(fù)雜醫(yī)學(xué)數(shù)據(jù)的能力，這一類別討論了VR在AI的融合下，如何輔助深入的結(jié)構(gòu)和病變分析、提升診斷能力，以及對(duì)外殼手術(shù)的各個(gè)階段提供相應(yīng)支持。主要關(guān)注從傳統(tǒng)2D數(shù)據(jù)到更加動(dòng)態(tài)的3D數(shù)據(jù)的分析方法的轉(zhuǎn)變。

VR輔助干預(yù)：該領(lǐng)域主要介紹和分析當(dāng)前AI驅(qū)動(dòng)的VR技術(shù)在實(shí)時(shí)互動(dòng)的醫(yī)療場(chǎng)景中的實(shí)際應(yīng)用。該類別涵蓋了VR技術(shù)在手術(shù)過(guò)程中的直接指導(dǎo)和輔助以及手術(shù)過(guò)程中的交互式合作兩個(gè)方向的分析和討論。

該篇工作為AI加持下的醫(yī)療場(chǎng)景VR技術(shù)的首次系統(tǒng)性的調(diào)查，為未來(lái)該學(xué)科領(lǐng)域的研究奠定了基礎(chǔ)。

上圖展示了AI加持下的VR輔助醫(yī)療的工作流程：

首先，醫(yī)學(xué)視覺(jué)增強(qiáng)關(guān)注在虛擬或增強(qiáng)現(xiàn)實(shí)場(chǎng)景中，提升醫(yī)療人員的視覺(jué)和感知。

隨后，VR醫(yī)學(xué)數(shù)據(jù)處理討論了虛擬現(xiàn)實(shí)技術(shù)如何與AI結(jié)合，以此輔助對(duì)機(jī)構(gòu)和病變的分析，增強(qiáng)疾病診療能力，并在全手術(shù)流程中提供支持。

最后，VR輔助干預(yù)涵蓋了如何利用VR技術(shù)對(duì)手術(shù)過(guò)程直接提供指導(dǎo)和輔助，以及促進(jìn)醫(yī)療人員在醫(yī)療干預(yù)過(guò)程中的互動(dòng)合作。

分類方法

本文通過(guò)分類法將具有相似目標(biāo)的AI增強(qiáng)的虛擬現(xiàn)實(shí)技術(shù)在醫(yī)療場(chǎng)景中進(jìn)行分類，以便深入進(jìn)行研究。

作者根據(jù)診斷和治療的程序，將當(dāng)前最新的方法和應(yīng)用分類為三個(gè)不同的類別：醫(yī)學(xué)視覺(jué)增強(qiáng)、VR醫(yī)學(xué)數(shù)據(jù)處理，以及VR輔助干預(yù)。具體分類方法如下圖所示：

醫(yī)學(xué)視覺(jué)增強(qiáng)

AI技術(shù)的飛速發(fā)展為VR平臺(tái)提供了在診療過(guò)程中增強(qiáng)醫(yī)療人員視覺(jué)感知的能力。視覺(jué)增強(qiáng)技術(shù)可以分為一下兩個(gè)子類：虛擬物體重建和可視化增強(qiáng)

虛擬物體重建：通過(guò)AI增強(qiáng)的重建方法，使得醫(yī)療人員以更加直觀的方法查看醫(yī)療數(shù)據(jù)，提升其對(duì)于復(fù)雜解剖結(jié)構(gòu)的感知和理解。通過(guò)在虛擬環(huán)境中對(duì)現(xiàn)實(shí)對(duì)象進(jìn)行重建（如器官、解剖結(jié)構(gòu)等），醫(yī)療人員可以更加清晰、全面地了解患者的狀況，有助于進(jìn)行進(jìn)一步的治療規(guī)劃和決策。目前，基于機(jī)器學(xué)習(xí)的前沿重建方法主要可以分為兩類：生成式模型以及神經(jīng)隱式函數(shù)。

例：基于深度信息的全場(chǎng)景手術(shù)室重建

可視化增強(qiáng)：專注于改善醫(yī)療人員在培訓(xùn)或手術(shù)階段的視覺(jué)感知。此類技術(shù)通過(guò)讓醫(yī)療人員沉浸在增強(qiáng)現(xiàn)實(shí)或虛擬現(xiàn)實(shí)手術(shù)場(chǎng)景中，為他們提供增強(qiáng)的視覺(jué)感知，使得他們能夠以更高的精度執(zhí)行治療程序，從而提升治療效果。該領(lǐng)域主要涉及兩個(gè)方面：渲染方法提升以及視覺(jué)感知增強(qiáng)

例：基于點(diǎn)云超分和點(diǎn)云補(bǔ)全方法對(duì)原始的手術(shù)桌重建進(jìn)行質(zhì)量提升

VR醫(yī)學(xué)數(shù)據(jù)處理

虛擬環(huán)境中的增強(qiáng)視覺(jué)為醫(yī)療數(shù)據(jù)處理提供了額外的分析能力。利用虛擬現(xiàn)實(shí)技術(shù)的沉浸式和交互式的特性，醫(yī)療人員能夠獲取額外的視覺(jué)信息輔助，突破傳統(tǒng)場(chǎng)景下2D數(shù)據(jù)在各類醫(yī)療場(chǎng)景下的限制。具體分類如下：

結(jié)構(gòu)和病變分析：在醫(yī)療場(chǎng)景中，使用各種數(shù)據(jù)格式，如點(diǎn)云、網(wǎng)格、體素等（具體分類如下表所示），使得AI加持下的VR系統(tǒng)能夠?qū)馄式Y(jié)構(gòu)和病變情況進(jìn)行更加全面的分析，從而為準(zhǔn)確診斷提供額外的感知信息。

疾病診斷：基于對(duì)虛擬現(xiàn)實(shí)場(chǎng)景的醫(yī)療數(shù)據(jù)進(jìn)行全面的分析，可以為多種分析診療方法打下基礎(chǔ)，如語(yǔ)義分割、特征提取以及知識(shí)嵌入。

術(shù)中支持：在數(shù)據(jù)分析和診斷的基礎(chǔ)上，基于VR醫(yī)學(xué)數(shù)據(jù)的分析對(duì)手術(shù)過(guò)程中的準(zhǔn)確性和有效性實(shí)現(xiàn)了提升，當(dāng)前工作涵蓋多個(gè)方面，包括：術(shù)前規(guī)劃、術(shù)中跟蹤識(shí)別和術(shù)后分析反饋。

多種三維醫(yī)療數(shù)據(jù)的對(duì)比和可視化結(jié)果

VR輔助干預(yù)

基于AI增強(qiáng)的可視化和分析技術(shù)，VR輔助干預(yù)展示了其在診療和手術(shù)階段中增強(qiáng)醫(yī)療人員能力的巨大潛力。

本章節(jié)主要討論虛擬現(xiàn)實(shí)技術(shù)如何在術(shù)中直接為醫(yī)療人員提供指導(dǎo)以及以交互和協(xié)作的方式為醫(yī)療人員提供反饋。

術(shù)中干預(yù)：通過(guò)將AI加持的診療功能集成在虛擬現(xiàn)實(shí)平臺(tái)中（如物體分割、手術(shù)階段識(shí)別等），在手術(shù)過(guò)程中直接為醫(yī)療人員提供指導(dǎo)或協(xié)助。該項(xiàng)技術(shù)包含整合多模態(tài)的數(shù)據(jù)輸入和多平臺(tái)融合。

交互式協(xié)作：利用人機(jī)交互技術(shù)為診療人員提供交互式的術(shù)中反饋。最近的視覺(jué)問(wèn)答（VQA）和視覺(jué)問(wèn)題定位回答（VQLA）技術(shù)在這一領(lǐng)域中發(fā)揮了關(guān)鍵作用。

當(dāng)前挑戰(zhàn)與未來(lái)展望

當(dāng)前挑戰(zhàn)

數(shù)據(jù)與集成：高質(zhì)量、多樣化的數(shù)據(jù)集對(duì)于訓(xùn)練高性能的AI模型至關(guān)重要，然而，目前AI驅(qū)動(dòng)的醫(yī)療虛擬現(xiàn)實(shí)技術(shù)所需的訓(xùn)練數(shù)據(jù)依舊稀缺和碎片化。同時(shí)，將AI-VR融合方法集成到現(xiàn)有的醫(yī)療保健系統(tǒng)，是一項(xiàng)復(fù)雜困難的工作。

倫理和法律：患者隱私、數(shù)據(jù)安全以及知情同意在AI輔助醫(yī)療領(lǐng)域格外重要，AI-VR系統(tǒng)必須確�；颊叩碾[私和安全。此在，該領(lǐng)域產(chǎn)生錯(cuò)誤時(shí)的責(zé)任問(wèn)題仍未解決，使得醫(yī)療服務(wù)提供者、技術(shù)人員和患者面臨的法律問(wèn)題更加復(fù)雜。

用戶接受度：AI系統(tǒng)的“黑盒”特質(zhì)可能會(huì)影響用戶的信任和接受度，因此，醫(yī)療人員通常需要理解AI輔助診療背后的決策過(guò)程。此外，為各類用戶設(shè)計(jì)用戶友好的界面，克服醫(yī)療人員和患者對(duì)于新技術(shù)的恐懼感，對(duì)于AI-VR輔助醫(yī)療的落地至關(guān)重要。

未來(lái)展望

沉浸式醫(yī)療：AI算法的發(fā)展進(jìn)一步幫助VR技術(shù)在沉浸式醫(yī)療場(chǎng)景提供更加準(zhǔn)確高效的解決方案。例如，在VR醫(yī)療場(chǎng)景中整合自然語(yǔ)言處理（NLP）模塊，增強(qiáng)對(duì)患者語(yǔ)音和病例的理解。

定制的醫(yī)療干預(yù)手段：利用AI算法對(duì)用戶在VR場(chǎng)景中的互動(dòng)進(jìn)行分析，從而定制治療方法、進(jìn)行決策，該種方法在心理保健場(chǎng)景下尤為適用。

AI增強(qiáng)的實(shí)時(shí)診療分析：AI加持的虛擬現(xiàn)實(shí)技術(shù)具備改變遠(yuǎn)程醫(yī)療和醫(yī)療培訓(xùn)的潛力，尤其是在資源匱乏的地區(qū)。通過(guò)實(shí)時(shí)數(shù)據(jù)分析，AI平臺(tái)可以提供實(shí)時(shí)的診療支持，輔助診療過(guò)程中的決策，增強(qiáng)醫(yī)療保健環(huán)節(jié)的可及性和公平性。

本文來(lái)源：新智元

人工智能虛擬現(xiàn)實(shí) 醫(yī)療

新智元

原創(chuàng)欄目