酷应用

手术台上的“元宇宙”！混合现实+机器学习=医疗新“视界”

百家作者：微软科技 2021-09-24 15:44:25

（本文阅读时间：7分钟）

纵观人类医学发展的历程，我们经历了从经验医学到循证医学、转化医学、精准医学，再到今天的智慧医疗的持续迭代，本质上是一种生命不断被数字化表述和智能化计算分析的过程。而如今智慧医疗发展将更加延续这样的进程，通过人工智能、大数据、云计算、虚拟现实等技术的深度应用，让医疗服务更智能，让优质医疗资源能够快速复制扩张，让更广范围的大众享受到优良医疗体验。因此，诊疗流程标准且智能，医疗资源流转顺畅，优秀医生培养加速将成为智慧医疗未来发展的关键！

微软 MR 临床医学平台，用科技颠覆传统医疗！

现今医院有大量先进设备方便对患者进行病灶检查，但仍十分倚重医生个人经验，诊疗效率受限资深医生数量，微软 MR 临床医学平台借助物联网、大数据、人工智能、虚拟现实等新兴信息技术，让诊疗过程一定程度去人力化，用人工智能服务大幅提高诊疗效率。同时微软 MR 临床医学平台也致力于在更广阔的的空间与平台上加强医生之间的交流效率，从而实现医疗资源的复制延展，惠及更多人群，构建全新医疗生态，推动智慧医疗进步与发展。

InnerEye

用 AI 为诊疗加速

InnerEye 是 Microsoft Research Cambridge 的一项研究项目，依托最先进的人工智能、机器学习技术来对三维医学图像进行自动、定量的分析。

通常而言，重大疾病例如癌症的诊断与放射疗法需要放射肿瘤学专家或专业技术人员手动检查、标记数十个 3D CT 扫描图像，同时由于病灶种类的复杂与多样性，这些工作可能需要多个小时不等。作为微软 MR 临床医学平台的重要模块，InnerEye 采用最新的卷积神经网络等算法对医学图像进行按体素自动分割，能够将患者的检查光片与数据通过机器学习自动进行分析，并赋能研究人员、医院、生命科学组织和医疗保健提供商，让他们能够使用 Microsoft Azure 来构建医学图像 AI 模型，大大降低病情诊断与治疗计划时间。

在 InnerEye 技术支持下，临床医生能够从容应对日益增长的大众医疗需求，并帮助提供精准医学以改善患者的治疗效果。此外，医学影像功能与其他类型的数据结合将是改变现今医疗方式的巨大动力，为个性化医疗奠定坚实基础。

HoloLens 2

给医生与患者一双“慧”眼

随着医疗科技发展，传统的医疗影像呈现技术已无法满足疾病诊疗所需的更多洞察，平面展示可提供的诊断信息有限，不仅无法展现三维模型的深度信息，其坐标参考和位置相对性也不够直观，不能展示器官内的组织结构，无法满足苛刻的诊疗要求。

临床模拟方面，即使在影像的帮助下，临床和外科实验仍需依赖实体标本，风险大，成本高，具有高危险性的项目难以开展。在个性化、人性化医疗背景下，如何以更加自然、直观的方式与患者展开沟通，同样是医疗从业者不断思考的问题。而医学影像数据的复杂性和庞大数据量使渲染、处理、预测和分析持续成为医疗行业面临的挑战。

微软 MR 临床医学平台搭载无线缆混合现实设备 HoloLens 2，具有可加强协作的应用和解决方案，提供具有极强沉浸感的舒适混合现实体验，利用大幅拓宽的视野一次浏览更多全息图。凭借业界领先的分辨率，更轻松、更舒适地阅读文本并查看 3D 图像上的复杂细节。

在 HoloLens 2支持下，微软 MR 临床医学平台能够在患者诊疗、方案制定、手术执行全医疗流程提供高效沟通与交互。

1.让手术规划更加高效合理

过去，医生需要不断将医学影像与解剖部位进行比照，同时兼顾与患者的沟通与讲解，整个过程十分低效。而通过将虚拟影像与真实手术进行视觉重叠，在外科手术前就可以对患者脏器分布、形态，周围血管、神经分布等一目了然，轻松掌握体内特征信息，既方便为让患者和医生一起观看三维病灶模型，更直观地了解疾病状况和相应治疗方案，同时也能助力医生快速确定最佳手术方案。

2.身临其境的交流让医疗资源外延

应对复杂病情，在制定治疗方案前医生会举行会诊引入更多资深医生的意见，微软 MR 临床医学平台中的虚拟会议厅功能得益于 HoloLens 所具有的实时通信能力，该解决方案允许多人同步观看相同的数字与现实叠加的场景。现在，无论是查房讨论，还是专家远程会诊，医生无需面对 CT 图片等反复通话，更不用在照片上做出标记再回传至手术现场，医生可以展现患者的个体化 Dicom 影像模型，放置在真实物理环境的“画布”上，无论身处何地，不同人员只要戴上 HoloLens 就可以获得与现场相同的视野和画面，通过一系列手势，自主调节画面内容、放置标记、添加重要提示信息，这种实时的可交互性让医疗交流具有身临其境之感。高效且直观的交流让资深医生能够为更多病患提供医疗建议，有助于医疗资源的外延，造福更多大众。

3.术中指引，提升安全性与效率

混合现实以叠加显示的方式让过去不可见、不可触的对象在手术开始前就变得“活灵活现”，为术者提供更具参考价值的影像信息。有效提升空间感知能力，无论是心血管支架，还是骨钉，都可以清晰而精准的被定位和识别，将手术创伤降至最低。同时，有效缩短手术时间，在全息影像的辅助下，主刀医生可以更好的观察穿刺深度等，过去在术中需要花费数十分钟和其它医生讨论的内容，现在只需在全息影像上看几眼就可直观得出结论，从而更快做出正确决策。

为医生成长加速

智慧医疗在于技术与医生结合，目前传统医生的培养计划需要经历学习、规培、实习等多个阶段，历时近十年。因此微软 MR 临床医学平台不仅为医生提供强大的技术支持提升诊疗效率，同时也依托先进技术，为医生的成长加速。

对于医学生而言，导师的每一台成功手术都是珍贵的教材，微软 MR 临床医学平台借助先进影像技术能够迅速将导师手术转化为数字化教材，同时依托微软 Azure 云平台进行分享，让医学生能够随时随地进行灵活学习。此外，借助 HoloLens 混合现实医疗影像解决方案还可以提供强大的示教支持，对以往受限于标本、场地和成本的解剖、手术训练和临床实验等进行充分模拟，医学生无法在病人身上实践的操作能够在完美还原的虚拟模型上进行实操演练，快速提升个人能力。

从理论到实践，微软 MR 临床医学平台为医学生们提供完备全面的学习支持，加快医生成长，为智慧医疗进程注入强大动力。

更形象了解微软 MR 临床医学平台，点击观看下方视频！