HADAR（热辅助探测和测距）将热物理学、红外成像和机器学习结合起来，为实现完全被动和物理感知的机器感知铺平了道路。埃尔莫尔电气与计算机工程系副教授祖宾-雅各布和普渡大学研究科学家鲍芳琳领导的研究已作为封面故事发表在《自然》杂志上。

普渡大学（Purdue University）的研究人员正在利用他们正在申请专利的方法，改进传统的机器视觉和感知，从而推动机器人技术和自动控制领域的发展。

埃尔莫尔家族电气与计算机工程学院（Elmore Family School of Electrical and Computer Engineering）电气与计算机工程副教授祖宾-雅各布（Zubin Jacob）和研究科学家鲍芳琳（Fanglin Bao）开发出了 HADAR（热辅助探测与测距）。他们的研究登上了《自然》杂志的封面。

雅各布说，预计到2030年，每10辆车中就有一辆是自动驾驶汽车，将有2000万个机器人助手为人们服务。

"雅各布说："这些代理中的每一个都将通过先进的传感器收集周围场景的信息，从而在没有人类干预的情况下做出决策。"然而，从根本上讲，众多代理同时感知场景是令人望而却步的。"

传统的有源传感器，如激光雷达（即光探测和测距）、雷达和声纳，会发射信号，然后接收信号，以收集场景的三维信息。这些方法的缺点随着规模的扩大而增加，包括信号干扰和对人眼安全的风险。相比之下，基于阳光或其他光源工作的摄像机虽然具有优势，但在夜间、雾或雨等弱光条件下却存在严重障碍。

传统热成像技术是一种完全被动的传感方法，可收集场景中所有物体发出的不可见热辐射。它可以穿越黑暗、恶劣天气和太阳强光进行感测。但雅各布说，基本的挑战阻碍了它在今天的应用。

"物体及其环境会不断发射和散射热辐射，从而导致无纹理图像，这就是著名的'鬼影效应'，"Bao 说。"人脸的热图像只显示轮廓和一些温度对比，没有任何特征，让人感觉像看到了鬼魂。这种信息、纹理和特征的损失是利用热辐射进行机器感知的一个障碍。

HADAR 结合了热物理学、红外成像和机器学习，为实现完全被动和物理感知的机器感知铺平了道路。

"我们的工作建立在热感知的信息理论基础之上，表明漆黑环境与光天化日所携带的信息量相同。进化使人类偏向于白天。雅各布说："未来的机器感知将克服这种长期存在的白天与黑夜的对立。

鲍说："HADAR能从杂乱的热信号中生动地恢复出纹理，并准确地将场景中所有物体的温度、发射率和纹理（即TeX）分离开来。它能像白天一样透过黑暗看到纹理和深度，还能感知 RGB（红绿蓝）、可见光成像或传统热感应之外的物理属性。令人惊讶的是，它可以像白天一样看穿漆黑的环境。

研究小组使用越野夜景测试了 HADAR TeX 视觉。

"HADAR TeX 视觉系统恢复了纹理并克服了重影效应，"Bao 说。"除了草地的细节外，它还恢复了水波纹、树皮皱纹和涵洞等精细纹理"。

HADAR 的其他改进还包括改善硬件尺寸和数据采集速度。

"目前的传感器又大又重，因为 HADAR 算法需要许多颜色的不可见红外辐射，"Bao 说。"要将其应用于自动驾驶汽车或机器人，我们需要减小体积和降低价格，同时使摄像头的速度更快。目前的传感器创建一幅图像大约需要一秒钟，但对于自动驾驶汽车来说，我们需要大约 30 到 60 赫兹的帧频，即每秒一帧。

HADAR TeX 视觉技术的最初应用领域是自动驾驶汽车和在复杂环境中与人类互动的机器人。该技术还可进一步开发用于农业、国防、地球科学、医疗保健和野生动物监测应用。

参考资料

Fanglin Bao et al, Heat-assisted detection and ranging, Nature (2023). DOI: 10.1038/s41586-023-06174-6

本文由光电查搜集整理，未经同行评议，请自行判断可信度。仅供学习使用。