|
3D MINS 多模态影像导航系统 3D MINS多模态影像导航系统（Multimodal Image Navigation System）是SunyaTech研发的建立在DICOM（Digital Imaging and Communications in Medicine）图像基础之上的多模态影像导航系统，集二维影像PACS管理、三维影像层级节点管理、三维可视化、仿真教学、手术规划、手术导航、术后评估和手术机器人模块于一体的多模态影像导航系统，适用于医学院学生、临床医生、医疗科研人员等对医学影像感兴趣的研发人员，该系统支持定制开发和用户二次开发。
图1 3D MINS功能模块图
图2 3D MINS主界面 一、系统功能 1、数据管理 3D MINS二维影像PACS（Picture Archiving and Communication System）管理是与医院PACS系统类似的本地数据库存储便携式PACS系统，为用户提供方便快捷的DICOM影像导入导出、DICOMDIR导入导出、JPEG/BMP格式导出、远程PACS上传下载、本地及远程PACS组合条件查询、自定义视图布局浏览、二维影像交互式操作（放大、缩小、窗宽窗位调节、旋转、镜像、ROI放大、拖动、测量和标记）等功能。
图3 影像数据管理和自定义视图布局浏览
图4 本地和远程PACS组合条件查询 3D MINS三维影像层级节点管理支持多种数据格式（图像格式有DICOM格式、NRRD、NII、NII.GZ等，三维模型格式有OBJ、STL、VTK、VTP、PLY等）打开，同样支持上述格式的保存。系统对打开的各种类型数据采用层级节点管理，可以对不同类型数据节点进行相应属性设置（颜色、透明度、纹理插值、面片表现形式等）和操作处理（体绘制渲染、面绘制、面片数量消减等）。系统提供场景数据的保存功能，保存文件扩展名为scene，为系统专属格式。 2、影像工具 影像工具由影像测量、裁剪、配准、平移旋转四个工具组成。主要满足用户对三维影像的基本操作，为三维可视化和手术规划服务。
图5 影像测量、裁剪和平移旋转
图6 影像自动配准和人机交互配准 3、三维可视化 三维体绘制渲染VR（Volume Rendering）是通过对三维体数据进行采样和合成来实现，它涉及到体素（Voxel），每个体素不仅包含表面的信息，还包括内部的信息，使得体绘制能够显示物体内部丰富的细节，并且保真性较高。体绘制主要应用于CT影像的展示，以便立体、直观观察不同器官和组织。系统提供九种体绘制预设效果，具有盒消隐和面消隐功能如图7所示。
图7 三维体绘制面消隐和盒消隐 面绘制（Surface Rendering）是提取感兴趣的区域，能够灵活地组合显示、应用，具有较好的显示可控性和快速性。面绘制需要生成中间图元，如顶点、线段、面片等，再进行渲染，通常在空间中建立相应的图元，然后将纹理映射到这些图元上。面绘制广泛应用于手术规划、导航、术后评估等领域，因为它提供了复杂的多组织显隐交互能力。三维分割重建提供了多种人交互分割方法、AI分割方法和传统分割方法，可以分割全身骨骼系统、心血管系统、呼吸系统、肝胆胰脾肾、胃肠道、肌肉、大脑分区、肿瘤等脏器及组织如图8所示。
图8 三维分割重建效果 4、仿真教学 仿真教学主要用于断层解剖、超声影像和虚拟内镜的学习。断层解剖学习由常规切面教学和任意切面教学两个功能组成。超声影像学习由仿真超声教学和融合超声教学两个功能组成。 常规切面教学提供了横断位、矢状位、冠状位三方位切面与相应二维切面在三维影像中位置的对照显示，另外还可以提供四视图多平面重建MPR（Multiplanar Reconstruction）显示效果，为断层解剖教学提供了直观立体的教学体验。
图9 横断位、矢状位、冠状位和MPR教学 任意切面教学使用系统提供的双目光学定位仪和切面教具实现多角度、任意切面断层影像的重建，满足用户任意切面断层影像教学的需要。
图10 任意切面断层影像教学 仿真超声教学使用系统提供的双目光学定位仪和仿真超声探头教具，实现将CT影像仿真成超声影像，为超声影像教学提供了一种新型教学方法。
图11 仿真超声教学界面 影像融合超声教学使用系统提供的光学双目定位仪和无线超声仪，实现了超声影像与CT影像对照显示和融合显示，为超声影像学习提供了一种新型教学方法。
图12 超声影像与CT影像对照融合显示 虚拟内镜VE（Virtual Endoscope）教学是针对学生学习内镜影像不直观、不方便而设计的。用户可以根据自己的教学目标选择案例影像，经过三维分割重建，根据用户中心点选择生成运动路径，用户可以调整镜头视角和方向，可进行管道内表面观察，还可全面显示邻近组织与管道关系，是一种安全、无创的内镜学习方法。
5、手术规划 手术规划（Surgical Planning）是用术前获得的患者病灶处影像，对ROI（Region Of Interesting）进行三维分割重建,结合医生的解剖学和病理学知识,进行手术规划(包括手术方法,手术流程,手术切口与手术路径等)并得到手术方案。系统的手术规划包括介入消融规划、介入粒子规划、骨科假体规划、TIPS通道规划四方面术前规划。 介入消融规划主要针对实体肿瘤的热消融、冷消融和化学消融的进针路径和消融范围的术前规划和模拟。
图15 介入消融规划 介入粒子规划主要针对实体肿瘤近距离放射治疗的进针路径和粒子辐射范围的术前规划和模拟。
图16 介入粒子规划 经颈静脉肝内门腔静脉分流术TIPS（Transjugular Intrahepatic Portosystemic Shunt）通道规划，是在肝内根据医生的中心点选择和直径的设置生成人工通道。
图17 TIPS通道规划 6、手术导航 手术导航（Surgical Navigation）系统是将患者术前或术中影像与病人实际解剖结构准确对应，手术中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示，使医生对手术器械相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。 基于该软件平台开发的手术导航系统支持NDI Polaris、PST、Atracsys、NDI Aurora等多款光学导航、电磁导航定位仪。手术导航系统已覆盖介入经皮穿刺、鼻内镜、腹腔镜、气管镜、经颅刺激、骨折复位等多个临床科室和适应症。手术导航系统包括三维超声穿刺导航、超声融合穿刺导航、增强现实内镜导航、经颅刺激神经导航、骨折复位导航五方面手术导航。 三维超声穿刺导航是利用双目光学定位仪使普通二维超声具有了空间位置信息具有了三维超声的功能，能够三维重建类管状ROI和类球状ROI的功能，具有手术导航实时跟踪显示功能。
图18 三维超声穿刺模型实验 超声融合穿刺导航是针对目前临床影像引导介入治疗而设计的，使用系统提供的双目光学定位仪和超声仪，实现了超声影像与CT/MR影像融合引导进行介入穿刺治疗，让医生在术中同时可以看到实时超声影像和CT/MR同超声切面影像。
图19 超声融合肿瘤穿刺模型实验 增强现实内镜导航解决了内镜手术视野狭小，只能看到镜下影像，表皮下内部结构不可见、内镜在术中实时位置无法确定、内镜影像与术前影像无直接关联以及缺乏实时增强影像等一系列问题。
经颅电磁、超声刺激仪的治疗作用涉及范围比较广，对癫痫、抑郁症、睡眠障碍等疾病有显著疗效。经颅刺激神经导航系统具有按血供和功能自动分割重建大脑分区功能、刺激路径规划、电磁探头和超声探头实时跟踪功能。
图25 经颅刺激神经导航实时跟踪 7、术后评估 消融术后评估是用于评估实体肿瘤消融术后消融效果的一个立体、直观、量化的评估功能。 消融术后评估是分析肿瘤（红色）、安全边界（半透明白色）、消融区（黄色）三者之间的空间包裹关系，以地图的方式显示。地图上绿色区域显示为被完全消融的组织，黄色区域显示为未达到消融安全边界区域具有复发风险的肿瘤组织，红色区域显示为未被消融的肿瘤组织。
8、手术机器人 基于该软件平台开发的手术机器人系统已经在介入经皮穿刺、骨科假体置换、颅颌面整形、内镜跟踪等多个适应症中应用。导航系统支持PST/NDI/Atracsys等光学导航、电磁导航；机械臂支持UR、KUKA等协作机器人。 二、系统开发环境 1、Windows10 X64位操作系统； 2、编译器Visual Studio 2015，跨平台的安装（编译）工具cmake3.7.0； 3、开发语言为C++，依赖的主要开发工具QT，VTK，ITK。 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||
