来源:
近日,美国加利福尼亚大学戴维斯分校(以下简称UCD)团队开发了一种新相机,基于一个薄微透镜阵列和新型图像处理算法,该相机经过单次曝光就能捕捉视野中物体的3D信息。因此,该相机可应用于各类领域,如工业零件检查、手势识别和收集数据的三维成像系统。
图1 Yang博士(左)和Feng Tian(右)实验照片。(图片来源:Savannah Luy,UCD)
该团队负责人Weijian Yang说:“因为其用柔性聚合物制成的薄而轻的微透镜阵列取代了传统相机中使用的大透镜,因此我们可以认为,该相机是无透镜的。这种微透镜可以从不同视角观察物体,所以它可以完成复杂的成像任务,比如捕获部分遮挡且靠近相机的物体的3D信息。”
Yang和在读博士生Feng Tian详细描述这种新型3D摄像机:由于图像处理算法让摄像机可以从现有数据中学习如何对三维场景进行数字重建,因此它可以实时生成3D图像。以上研究成果已发表在期刊《Optics Express》上,Feng Tian为该论文第一作者。
Yang说:“这种3D摄像机可用于为机器人提供3D视野,这帮助机器人在3D空间中航行,或者完成复杂任务,比如操纵精密物体。此外,它还能够应用于游戏、娱乐等其他使用3D显示器的应用,以获取丰富的3D信息。”
一种能学习的摄像机
在此之前,该团队开发了一种高集成度显微镜,该显微镜可以对生物医学应用中的3D显微结构进行成像。Yang说:“我们使用微透镜阵列构建了显微镜,并认为类似的概念可以用于对宏观物体成像。”
新型相机中的单镜头使其能够从不同角度或视角看到物体,从而提供深度信息。虽然其他团队已经开发出基于单层微透镜阵列的摄像机,但是由于大量的校准过程和缓慢的重建速度,它们很难实现完整成像。
为了制作更实用的三维物体摄像机,该团队将微透镜阵列和重建算法结合一起,而不是分别对每个物体进行重建。此外,他们设计并制造了微透镜阵列,其中包含37个小透镜,分布在一个直径仅为12毫米的聚合物圆层中。此外,图像重建算法基于高效人工神经网络,学习如何将图像中的信息映射回场景中的物体。
Yang说:“传统神经网络通常可以执行指定任务,但基本基本机制难以理解和解释。我们的神经网络是基于图像重建的物理模型,这简化了学习过程,并实现高质量重建。”
在学习过程完成后,该相机以极高速度对不同距离的物体进行图像重建。此外,该相机不需要校准,可以用来绘制物体的三维位置和空间轮廓。
透视物体
该团队通过数值模拟生成2D图像,验证相机性能。然后,他们测试了相机对不同深度的物体的3D成像性能。由此生成的三维重建图像,相机可以重新聚焦到不同深度或距离。此外,相机还创建了一个深度地图,符合实际的对象排布。
Yang说:“在最新实验中,我们展示了该相机可以成像物体背后的不透明障碍物,这是首次使用无透镜相机在不透明障碍物后面成像物体。”
此外,该团队正集中于减少3D重建过程中产生的伪影和误差,并改进算法以获得更高的质量和速度。他们还计划缩小整个设备的体积,这样就可以装进手机里,这样便于携带,可以应用更多的软件。
Yang说:“基于算法重建的无透镜3D相机是一种创新技术,若能同时优化成像硬件和目标重建算法,就可以实现所需成像任务和质量。随着低成本、先进微光学制造技术的发展以及机器学习和计算资源的进步,计算成像是许多具有先进功能的新成像系统成为可能。”