散射器内窥镜:单次曝光实时3D成像
微创体内成像技术对于生物医学研究和临床应用至关重要,特别是在深部组织观察和活体成像领域。然而,传统内窥镜技术面临着诸多挑战,如空间限制、分辨率不足、实时3D成像困难等。
为突破这些限制,德国德累斯顿工业大学的Robert Kuschmierz与Tom Glosemeyer团队开发了一种创新的基于光学散射器的微创光纤内窥镜。
这种新型内窥镜采用散射器替代传统透镜系统,结合相干光纤束(CFB)和先进的神经网络算法,实现了单次曝光的实时3D荧光成像。其探头直径仅为700微米,大大减少了对组织的损伤。该系统利用散射器将3D物体信息编码为2D散斑图案,再通过神经网络在20毫秒内重建3D图像,理论上支持高达50 fps的重建速率。然而,在当前实验条件下,实际达到的总帧率为8 fps。这一差异主要源于照明功率的限制:探针体积中仅有5 mW的照明功率,导致系统需要较长的曝光时间(约100毫秒)来获取足够的信号。
研究人员指出,未来可以通过增加照明功率来提高实际帧率,但需要权衡可能增加的光毒性风险。这种改进有望使实际帧率更接近理论极限,从而实现更快速的实时3D成像。这一突破性技术为神经科学研究、钙成像等领域提供了强大工具,有望在微创医疗和活体深部组织观察方面带来重大进展。
该成果以“Single-shot 3D incoherent imaging with diffuser endoscopy“”为题发在Light: Advanced Manufacturing。
图1:结合散射器和光纤内窥镜的光学成像装置。
非相干照明与鲁棒性
对于许多临床应用而言,成像系统的鲁棒性是一项重要要求。与全息方法相比,荧光成像不需要相干光。通过使用非相干照明,只有强度携带有用信息,而相位可以省略。这使得成像系统对光纤束的弯曲具有鲁棒性,这对所有体内应用都有好处。此外,只要信噪比足够高,内窥镜长度就不应该成为生物医学应用的限制因素。在所展示的实验中,系统用激光照明,可以用LED代替。这可以防止照明斑点。
神经网络
小百科:什么是“神经网络图像重建”?
本研究中,使用的神经网络图像重建是一种利用人工智能技术从复杂或不完整的图像数据中恢复原始图像的先进方法。在散射器内窥镜系统中,这种技术扮演着关键角色。
具体而言,该方法使用两个连续的神经网络:首先,单层感知器(SLP)网络快速生成初步图像估计;然后,U-Net网络进一步优化图像质量,去除噪声和伪影。这种两阶段方法既保证了重建速度,又提高了图像质量。
与传统迭代算法相比,神经网络重建速度更快(仅需20毫秒),能实现实时图像处理。它还具有更强的鲁棒性,能适应系统误差和变化。通过持续学习和优化,神经网络可不断提升重建质量,为医学成像提供更清晰、更快速的图像,推动精准诊断和微创治疗的发展。
图2:光学系统模拟
使用神经网络的重建方法速度足够快,可以进行实时成像,从而实现实时体内应用。此外,它们对模型误差具有鲁棒性,并且不依赖于点扩展函数(PSF)移位不变性。对于单次2D和3D成像两种情况,神经网络都能够在20毫秒内重建图像。大约100毫秒的曝光时间受到探针体积中5 mW的照明功率的限制,导致总帧速率为8 fps。根据允许的光毒性水平,照明功率和帧速率可以进一步增加。此外,即使横向光学记忆效应仅覆盖视场的一小部分,它也能很好地发挥作用。
图3:用于神经网络训练的光学装置
结合散射器
基于散射器的内窥镜可以提供比等效基于透镜的内窥镜更高的空间带宽积(SBP)(图4)。空间带宽积是衡量光学系统信息传输能力的重要指标,本质上是系统分辨率和视场大小的乘积,反映了系统能够分辨的独立像素总数。
图4:散射器内窥镜(上)和等效透镜系统(下)的视场(a)和分辨率(b)
更高的SBP对医学成像至关重要,因为它能同时提供更大的观察范围和更细致的图像细节。在临床应用中,这意味着医生可以在一次检查中观察到更大面积的组织,同时不会错过微小的病变或结构变化。这不仅提高了诊断的准确性和效率,还可能减少患者需要接受的检查次数,从而降低医疗成本和患者负担。特别是在早期疾病诊断和微创手术导航等领域,高SBP成像系统的优势更为明显。
总结与展望
尽管散射器内窥镜技术前景广阔,但仍面临几个主要挑战。首先,神经网络重建对物体场景稀疏性的依赖限制了其在复杂环境中的应用,未来需要开发更先进的网络架构和正则化方法。其次,深部组织成像中的散射问题影响成像质量,可能通过开发适应随机散射的算法或结合自适应光学技术来解决。最后,相干光纤束作为信息瓶颈限制了系统性能,虽然压缩感知部分克服了这一问题,但仍有优化空间。未来研究方向包括设计专用散射器、探索新型光纤材料,以及优化光学记忆效应,以进一步提升系统性能和应用范围。
这项散射器内窥镜技术的突破可能带来多方面的临床和研究影响。论文特别强调了其在荧光成像和深部脑组织观察方面的潜力,尤其是在钙成像等应用中。基于这些特性,该技术可能在多个医学领域产生重要影响。例如,在神经外科领域,它有望帮助更精确地识别脑肿瘤边界,潜在地提高手术精度并减少对健康脑组织的损伤。在心血管领域,高分辨率的实时3D成像可能改善某些介入手术的精确性。对于消化系统疾病,这种微型化的内窥镜可能有助于早期胃肠道病变的诊断。在基础医学研究方面,它为活体神经元活动的实时观察提供了新的可能性,可能加速我们对脑功能和神经疾病的理解。
虽然这些具体应用还需要进一步的研究和验证,但总的来说,这项技术展现了推动个性化精准医疗发展的潜力,有望在某些领域提高诊断准确性,减少侵入性,并可能降低医疗成本。(来源:先进制造微信公众号)
相关论文信息:https://doi.org/10.37188/lam.2024.015