现代医学的发展，几乎依赖于所有的基础科学和应用科学的进步。作为一名神经外科医生，看着脑部CT或MRI胶片，依赖于自己的丰富经验，就进入手术室的年代，正在远去。近十多年来，多模态影像融合技术，已经日臻完善。在手术之前，通过计算机软件，将患者头部的CT、磁共振、PET（正电子发射计算机断层扫描成像）等等多种影像融合，并且3D重建出来，可以让医生充分了解病变的信息，制定优化的手术策略，这些，在清华大学玉泉医院（清华大学中西医结合医院）神经外科三病区已经是每台手术的必备项目。

近几年来又提出了新的需求：能否把计算机3D重建的虚拟图像，映射到患者的头部？这将更直观地让医生“看”到脑部的各个结构层次。早在三年前，市场上已经出现了诸多小型、便于移动的投影仪，使用起来很方便。利用这种便携式投影仪，就可以把计算机上显示的图像投射到患者的头部，不过，操作起来并不方便，医生需要不断调整距离和角度，才能让图像和患者实际的头部重合，而且也有一定的误差，临床应用受到了限制。

神经外科三病区和清华大学生物医学工程系以及社会力量共同合作，开发出一种新技术——将摄像头和投影仪整合在一起，通过软件控制，让虚拟和现实可以实时融为一体。医生需先在软件里进行影像的融合与3D重建，并设计好手术路径。在手术前，对患者的头部进行实时扫描，摄像头采集信息，在计算机内生成一个3D的表面轮廓，然后和事先通过影像重建的模型自动进行匹配，就可以在患者头部表面精准地投射出重建的模型。根据需要，医生可以直观地看到想看的结构，例如，颅骨、血管、病变等等，可对手术路径做进一步的改良与优化。

视频中所显示的，是在2022年底，神经外科三病区在一台普通开颅手术前的早晨，应用这种智能视觉识别技术，优化手术方案的场景。另外这种解决方案，对现有条件要求不高，硬件也小巧且便携，很容易普及。

其实，早在2019年，刚刚提出虚拟与现实融合的需求时，神经外科三病区就同时在研发更高一级的应用场景，将这种智能视觉识别技术和导航或者神经外科手术机器人结合起来，将会更加方便地辅助医生改进手术方案，也会让手术变得更加安全，创伤也更小。目前，工程样机已经完成，实验数据显示，特别是对于微创手术，大大提高了安全性和高效性，此技术即将开展临床应用。