太平洋科技要闻

首页 > 科技要闻 > 科技> 正文

首篇「虚拟现实+人工智能」综述！浙大、港中深等发布AI医疗最新报告

新智元整合编辑：太平洋科技发布于：2024-08-27 16:24

人工智能（AI）加持下的虚拟现实（VR）技术已经逐渐发展成了一个横跨多个领域的交互式媒介，可以为用户提供前所未有的沉浸式体验。在众多应用场景中，医疗被认为是最具发展潜力的领域。

在本篇工作中，来自浙江大学、香港中文大学深圳以及圣母大学的研究人员对医疗领域的虚拟现实技术进行了全面的审视，并进行系统性的分类。

其中，吴逸璇与胡凯源为共同第一作者。

背景介绍

人工智能技术和虚拟现实技术的交叉融合是医疗领域中一个新兴的前沿方向，人工智能技术和虚拟现实技术将当前数据驱动的分析和沉浸式的医学诊断相结合，使之成为当前医疗保健领域中的关键研究方向。

该项综述的目的是深入探讨AI加持下的虚拟现实技术在医疗场景中的技术细节、工作流程，以及下游应用，同时评估其对医疗服务效率、准确性和有效性的影响。

为了系统性地理解和分析AI在医学虚拟现实的应用，本文提出了一个全新的分类方法，将当前相关领域的工作分类三个主要类别：医学视觉增强、VR医学数据处理，以及VR辅助干预。这种分类方法帮助我们全面了解当前医疗VR场景下AI技术的最新进展：

医学视觉增强：着重于提升医疗人员在虚拟空间中的视角感知，有助于帮助医疗人员理解错综复杂的解剖结构以及空间关系。该类别分为两个子领域：虚拟物体重建和虚拟视觉增强

VR医学数据处理：主要探讨当前VR系统对于分析和理解复杂医学数据的能力，这一类别讨论了VR在AI的融合下，如何辅助深入的结构和病变分析、提升诊断能力，以及对外壳手术的各个阶段提供相应支持。主要关注从传统2D数据到更加动态的3D数据的分析方法的转变。

VR辅助干预：该领域主要介绍和分析当前AI驱动的VR技术在实时互动的医疗场景中的实际应用。该类别涵盖了VR技术在手术过程中的直接指导和辅助以及手术过程中的交互式合作两个方向的分析和讨论。

该篇工作为AI加持下的医疗场景VR技术的首次系统性的调查，为未来该学科领域的研究奠定了基础。

上图展示了AI加持下的VR辅助医疗的工作流程：

首先，医学视觉增强关注在虚拟或增强现实场景中，提升医疗人员的视觉和感知。

随后，VR医学数据处理讨论了虚拟现实技术如何与AI结合，以此辅助对机构和病变的分析，增强疾病诊疗能力，并在全手术流程中提供支持。

最后，VR辅助干预涵盖了如何利用VR技术对手术过程直接提供指导和辅助，以及促进医疗人员在医疗干预过程中的互动合作。

分类方法

本文通过分类法将具有相似目标的AI增强的虚拟现实技术在医疗场景中进行分类，以便深入进行研究。

作者根据诊断和治疗的程序，将当前最新的方法和应用分类为三个不同的类别：医学视觉增强、VR医学数据处理，以及VR辅助干预。具体分类方法如下图所示：

医学视觉增强

AI技术的飞速发展为VR平台提供了在诊疗过程中增强医疗人员视觉感知的能力。视觉增强技术可以分为一下两个子类：虚拟物体重建和可视化增强

虚拟物体重建：通过AI增强的重建方法，使得医疗人员以更加直观的方法查看医疗数据，提升其对于复杂解剖结构的感知和理解。通过在虚拟环境中对现实对象进行重建（如器官、解剖结构等），医疗人员可以更加清晰、全面地了解患者的状况，有助于进行进一步的治疗规划和决策。目前，基于机器学习的前沿重建方法主要可以分为两类：生成式模型以及神经隐式函数。

例：基于深度信息的全场景手术室重建

可视化增强：专注于改善医疗人员在培训或手术阶段的视觉感知。此类技术通过让医疗人员沉浸在增强现实或虚拟现实手术场景中，为他们提供增强的视觉感知，使得他们能够以更高的精度执行治疗程序，从而提升治疗效果。该领域主要涉及两个方面：渲染方法提升以及视觉感知增强

例：基于点云超分和点云补全方法对原始的手术桌重建进行质量提升

VR医学数据处理

虚拟环境中的增强视觉为医疗数据处理提供了额外的分析能力。利用虚拟现实技术的沉浸式和交互式的特性，医疗人员能够获取额外的视觉信息辅助，突破传统场景下2D数据在各类医疗场景下的限制。具体分类如下：

结构和病变分析：在医疗场景中，使用各种数据格式，如点云、网格、体素等（具体分类如下表所示），使得AI加持下的VR系统能够对解剖结构和病变情况进行更加全面的分析，从而为准确诊断提供额外的感知信息。

疾病诊断：基于对虚拟现实场景的医疗数据进行全面的分析，可以为多种分析诊疗方法打下基础，如语义分割、特征提取以及知识嵌入。

术中支持：在数据分析和诊断的基础上，基于VR医学数据的分析对手术过程中的准确性和有效性实现了提升，当前工作涵盖多个方面，包括：术前规划、术中跟踪识别和术后分析反馈。

多种三维医疗数据的对比和可视化结果

VR辅助干预

基于AI增强的可视化和分析技术，VR辅助干预展示了其在诊疗和手术阶段中增强医疗人员能力的巨大潜力。

本章节主要讨论虚拟现实技术如何在术中直接为医疗人员提供指导以及以交互和协作的方式为医疗人员提供反馈。