如何克服边缘视觉的带宽限制？

在追求更高像素、帧率和空间分辨率的视觉行业，边缘视觉与图像采集面临巨大挑战。其中，1GigE相机输出已不足，传输问题有待解决。与此图像传感器的快速发展也使接口带宽成为瓶颈。

如何克服边缘视觉的带宽限制？

虹科提出创新解决方案，通过图像采集卡实现压缩和预处理，满足高带宽、低延迟需求。开放的FPGA支持快速算法开发。虹科-Gidel FantoVision 40小型计算机是我们的杰作。这款产品连接多相机实现高效图像采集和处理，将打开视觉应用新篇章。

边缘视觉与图像采集挑战

边缘视觉是指将相机连接到边缘计算机或嵌入式计算机，并在云端进行处理或存储。也在一些机器控制方面有着着重要作用。我们收到了客户的反馈，对于1GigE相机的输出已经不足以满足需求，因此只能将其连接到PLC。为了解决这一问题，我们需要相机的第二个1 GigE的输出通道，以便能够将图像数据传输到云服务器。

图1 边缘视觉的过程

机器视觉行业开始不断追求更多像素、更高帧率以及更高的空间和时间分辨率。正如图中所示，你能看到许多图像传感器（棕色点）。通过连接线连接到典型的接口，蓝线代表PCIe 3.0，红线代表CoaXPress v2 x4。当图像传感器的带宽超过某条线时，接口的带宽已经不足以传输数据。

图2 不同图像传感器的参数对比

事实上，许多图像传感器的带宽比10GigE和CoaXPressv1更快，甚至比100GigE接口还要快。这表明图像传感器取得了巨大进步，能够提供高帧率、高像素和快速传输。尽管我们在接口方面也取得了一些进步，带宽速度不断提高，但仍面临挑战，特别是要与传感器的发展速度匹配，以及解决GPU和CPU性能不足的问题。

在面对高分辨率高速传感器的解决方案时，我们同时面临着多个瓶颈，例如摄像头接口、GPU和CPU桥接接口，以及CPU的负载和处理能力。实际上，计算机上送云端的带宽最好情况下也只有1G。

而如果有多个摄像头，情况会变得更复杂。想象一下有多个10GigE、CoaXPress或100 GigE相机，以100 GigE相机为例，速度每秒96千兆比特乘以摄像机的数量。大多数情况下，电脑最大带宽接口PCIe 3.0只有48千兆比特每秒，这成为了一个关键的瓶颈。

解决方案

为了解决这些问题，我们提出了解决方案，即在多摄像头和CPU架构之间放置图像采集卡，从而实现压缩和预处理。图像采集设备能够提取感兴趣区域（ROI），进而减少总数据带宽。我们需要满足实际应用的需求，包括高带宽相机接口、多相机接口、超高精度同步和可定制的IOs用于控制外围设备。在处理过程中，还需要低延迟、大DRAM以支持计算复杂的算法，因此需要多个千兆比特每秒的内存访问带宽。实时压缩和ROI选择是解决这些问题的有效方法。

图3 图像采集卡的作用

图4 图像采集卡的作用

考虑到开发人员的需求，便捷的开发也是一个关键因素。我们采用了开放的FPGA，使得软件工程师可以在图像采集卡上放置特定的IP，并利用FPGA集成开发环境快速实现算法和方案开发。这要求图像采集卡在灵活性和易用性方面也要表现出色。

关于系统集成，我们考虑到若有PCI 3.0 x8或x16接口能够获得最大性能，并且具备小尺寸和被动冷却性能，我们未来或许可以考虑将图像采集卡和计算机合二为一。

虹科产品与解决方案

基于上文的发展背景，虹科推出了一款名为虹科-Gidel FantoVision 40的开创性小型计算机。这款计算机可以连接高达4台10GigE Vision或4台CoaXPress 2.0相机，从而实现图像采集和处理。该计算机的创新架构将高端图像采集与实时图像处理和/或压缩相结合，采用了Nvidia JetsonTM嵌入式计算机，并在Intel Arria 10TM FPGA上进行可选的预处理/压缩。