来源:
加州大学洛杉矶分校的两位生物工程师和一位博士后合作开发了了一类新的仿生 3D 相机系统,该系统可以模仿苍蝇的多视图视觉和蝙蝠的自然声纳感应,从而产生具有非常可观的深度范围内的多维成像,同时还可以扫描盲点。
图1,以不同视角呈现字母“X”的重构 3D 图像。来源:智能光学实验室,Liang Gao/加州大学洛杉矶分校。
应用现有强大的计算图像处理功能,相机可以破译隐藏在角落或其他物品后面的物体大小和形状。该技术可以集成到自动驾驶汽车或医学成像工具中,其传感能力远远超出当今最先进的水平。这项研究已发表在《Nature Communications》上。
在黑暗中,蝙蝠可以通过使用回声定位或声纳的形式,来构建周围充满活力的画面。他们的高频吱吱声从周围环境中反弹,并被他们的耳朵接收。回声到动物的时间和声音的强度之间的微小差异可以实时告诉它们物体位置里,有什么阻碍以及潜在猎物的接近程度。
许多昆虫都有几何形状的复眼,其中每只“眼睛”由数百到数万个单独的视觉单位组成——这使得从多条视线看到同一事物成为可能。例如,苍蝇的球状复眼即使它们的眼睛具有固定的焦距,近 360 度的视场范围,因此他们很难看到远处的任何东西,例如高空举着的苍蝇拍。
受到在苍蝇和蝙蝠的这两种自然现象的启发,加州大学洛杉矶分校领导的团队着手设计一种高性能3D相机系统,该系统具有先进的功能,既能利用这些优势,又克服了一些自然条件下的缺点。
“虽然这个想法本身已经被尝试过,但在一定距离范围内,对被遮挡的周围环境进行观察一直是一个主要障碍,”加州大学洛杉矶分校萨缪利工程学院生物工程副教授、研究负责人梁高说。 “为了解决这个问题,我们开发了一种新颖的计算成像框架,它首次能够通过简单的光学器件和少量传感器阵列获得宽而深的全景视图。” 该框架称为“紧凑光场摄影”或 CLIP,允许相机系统“看到”具有扩展深度范围和物体周围的观察。在实验中,研究人员证明他们的系统可以“看到”传统 3D 相机无法发现的隐藏物体。
研究人员还使用了一种激光雷达,即“光检测和测距”,其中激光扫描周围环境以创建该区域的 3D 地图。
没有 CLIP 的传统激光雷达会拍摄场景的高分辨率图片,但会错过隐藏的物体,就像我们的人眼一样。
该阵列使用 7 个带 CLIP 的 LiDAR 摄像头,拍摄低分辨率场景图像,处理各个摄像头看到的内容,然后在高分辨率 3D 成像中重建组合场景。研究人员展示了相机系统可以对具有多个对象的复杂 3D 场景进行成像,所有物体都设置在不同的距离处。
“如果你蒙着一只眼睛看着你的笔记本电脑后面的咖啡杯,你可能看不到它,因为笔记本电脑挡住了视线,”高解释说, “但是如果你用两只眼睛,你会更好地看到物体。这就是我们所研究的内容,想象一下用昆虫的复眼看杯子,那就可以看到多个视图。 "
CLIP 有助于相机阵列以类似的方式理解隐藏的内容。结合激光雷达,该系统能够实现蝙蝠回声定位效果,因此人们可以通过光线反射回摄像头所需的时间来感知隐藏的物体。
该研究得到了美国国立综合医学科学研究所的支持,该研究所隶属于美国国立卫生研究院。