研究人员开发了一种技术，可以让人工智能(AI)程序利用多个摄像头拍摄的二维图像更好地绘制三维空间。由于该技术在有限的计算资源下有效地工作，它有望改善自动驾驶汽车的导航。
“大多数自动驾驶汽车使用强大的人工智能程序，称为视觉变压器，从多个摄像头拍摄2D图像，并创建车辆周围3D空间的表示，”该研究论文的通讯作者、北卡罗来纳州立大学电子和计算机工程副教授吴天福说。“然而，尽管这些人工智能程序都采用了不同的方法，但仍有很大的改进空间。
Wu说:“我们的技术，称为多视图关注情境化(MvACon)，是一种即插即用的补充，可以与这些现有的视觉转换人工智能结合使用，以提高它们绘制3D空间的能力。”“视觉转换器不会从相机中获得任何额外的数据，它们只是能够更好地利用这些数据。”
MvACon通过修改一种叫做Patch-to-Cluster attention (PaCa)的方法有效地工作，PaCa是Wu和他的合作者去年发布的。PaCa允许变压器ai更有效地识别图像中的对象。
“这里的关键进步是将我们用PaCa演示的应用于使用多个摄像头绘制3D空间的挑战，”吴说。
为了测试MvACon的性能，研究人员将其与三种领先的视觉转换器(BEVFormer、BEVFormer DFA3D变体和PETR)结合使用。在每种情况下，视觉转换器从六个不同的相机收集2D图像。在这三种情况下，MvACon显著提高了每个视觉变压器的性能。
“在定位物体、物体的速度和方向方面，性能得到了特别的提高，”吴说。而将MvACon添加到视觉变压器中的计算需求的增加几乎可以忽略不计。
“我们接下来的步骤包括针对其他基准数据集测试MvACon，以及针对自动驾驶汽车的实际视频输入进行测试。如果MvACon继续优于现有的视觉变压器，我们乐观地认为它将被广泛采用。”
这篇题为“多视角3D目标检测的多视角关注语境化”的论文将于6月20日在华盛顿州西雅图举行的IEEE/CVF计算机视觉和模式识别会议上发表。
本文第一作者为北卡罗来纳州立大学博士研究生刘先鹏。该论文由中佛罗里达大学的郑策和陈晨共同撰写;蚂蚁集团的钱明、薛楠;以及OPPO美国研究中心的张哲斌和李晨。
更多信息:刘先鹏等，多视图关注上下文化用于多视图3D目标检测。(2024)。引用本文:新技术提高了人工智能用2D相机绘制3D空间的能力(2024年，6月13日)检索自https://techxplore.com/news/2024-06-technique-ai-ability-3d-space.html本文受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。
