无图像的单像素检测在自主移动中找到了用武之地

发布时间:2023-05-22 00:00:00.000Z

来自北京理工大学的研究人员开发了一种高速方法来检测多个物体的位置、大小和类别,而无需获取图像或需要复杂的场景重建。该技术使用一个单像素探测器,大大降低了物体检测所需的计算能力。该方法可以在驾驶过程中识别危险,因为它可以同时进行分类、单一物体识别和跟踪。

据研究小组负责人边立恒介绍,单像素物体检测(SPOD)技术仅通过少量的二维测量直接进行多物体检测。"边说:"这种类型的无图像传感技术有望解决现有视觉感知系统的沉重通信负荷、高计算开销和低感知率等问题。

目前的无图像感知方法只能实现分类、单一物体识别或跟踪。SPOD方法实现了略高于80%的物体检测准确率,同时完成了分类、单一物体识别和跟踪。

研究人员已经开发出一种高速方法来检测多个物体的位置、大小和类别,而不需要复杂的场景重建。来自北京理工大学的研究团队负责人边立恒表示,该技术有望解决现有视觉感知系统的通信负荷重、计算开销大、感知率低等问题。彭林涛/北京理工大学提供。

一旦用研究人员的方法获得了二维测量结果,这些测量结果就被送入一个基于变压器的编码器--一种深度学习模型--并提取场景中的高维、最相关的特征。这些特征被送入一个基于多尺度注意力网络的解码器,它同时输出场景中所有目标的类别、位置和尺寸信息。

高级视觉任务的自动化通常需要详细的场景图像来提取识别物体所需的特征。然而,这需要复杂的成像硬件或复杂的重建算法,这导致了高计算成本、长运行时间和沉重的数据传输负荷。由于这个原因,传统的先有图像、后有感知的方法可能不是物体检测的最佳方案。

基于单像素检测器的无图像传感方法可以减少物体检测所需的计算能力。单像素成像不是采用像素化的探测器,如CMOS或CCD,而是用一连串的结构化光照亮场景,然后记录透射光强度以获得物体的空间信息。这些信息然后被用来计算重建物体或计算其属性。

据研究人员说,SPOD使用的小尺寸、优化的图案采样,以比这种传统的图案采样方法少一个数量级的图案参数,实现了高的无图像感应精度。

"研究员彭林涛说:"与其他单像素检测方法所使用的全尺寸图案相比,小型优化图案产生了更好的无图像感应性能。

此外,彭说:"SPOD解码器中的多尺度注意网络加强了网络对场景中目标区域的注意。这允许更有效地提取场景特征,实现最先进的物体检测性能。"

"对于自动驾驶,SPOD可以与激光雷达一起使用,以帮助提高场景重建的速度和物体检测的准确性," Bian说。"我们相信,它具有足够高的检测率和精度,适用于自主驾驶,同时也减少了物体检测所需的传输带宽和计算资源要求。"

为了实验性地展示SPOD,研究人员建立了一个概念验证装置。从Pascal Voc 2012年测试数据集中随机选择的图像被打印在胶片上,作为目标场景。在5%的采样率下,用SPOD完成每个场景的空间光调制和无图像物体检测的平均时间仅为0.016秒,这比先进行场景重建(0.05秒)然后再进行物体检测(0.018秒)的方法有了很大的提升。SPOD显示出82.2%的平均检测精度,刷新率为每秒63帧,测试数据集中包含的所有物体类别。

"目前,SPOD不能检测每一个可能的物体类别,因为用于训练模型的现有物体检测数据集只包含80个类别,"彭说。"然而,当面临一个特定的任务时,可以对预训练的模型进行微调,以实现对新目标类别的无图像多物体检测,用于行人、车辆或船只检测等应用。"

研究人员计划将无图像感知技术扩展到其他种类的探测器和计算采集系统,以实现无重建感知技术。

该研究发表在《光学通讯》(www.doi.org/10.1364/OL.486078)上。

来自:photonics.com

相关内容

相关产品

图片名称分类制造商参数描述