在追求更高像素、帧率和空间分辨率的视觉行业，边缘视觉与图像采集面临巨大挑战。其中，1GigE相机输出已不足，传输问题有待解决。与此图像传感器的快速发展也使接口带宽成为瓶颈。
虹科提出创新解决方案，通过图像采集卡实现压缩和预处理，满足高带宽、低延迟需求。开放的FPGA支持快速算法开发。虹科-Gidel FantoVision 40小型计算机是我们的杰作。这款产品连接多相机实现高效图像采集和处理，将打开视觉应用新篇章。
01
边缘视觉与图像采集挑战
边缘视觉是指将相机连接到边缘计算机或嵌入式计算机，并在云端进行处理或存储。也在一些机器控制方面有着着重要作用。我们收到了客户的反馈，对于1GigE相机的输出已经不足以满足需求，因此只能将其连接到PLC。为了解决这一问题，我们需要相机的第二个1 GigE的输出通道，以便能够将图像数据传输到云服务器。
图1 边缘视觉的过程
机器视觉行业开始不断追求更多像素、更高帧率以及更高的空间和时间分辨率。正如图中所示，你能看到许多图像传感器（棕色点）。通过连接线连接到典型的接口，蓝线代表PCIe 3.0，红线代表CoaXPress v2 x4。当图像传感器的带宽超过某条线时，接口的带宽已经不足以传输数据。
图2 不同图像传感器的参数对比
事实上，许多图像传感器的带宽比10GigE和CoaXPressv1更快，甚至比100GigE接口还要快。这表明图像传感器取得了巨大进步，能够提供高帧率、高像素和快速传输。尽管我们在接口方面也取得了一些进步，带宽速度不断提高，但仍面临挑战，特别是要与传感器的发展速度匹配，以及解决GPU和CPU性能不足的问题。
在面对高分辨率高速传感器的解决方案时，我们同时面临着多个瓶颈，例如摄像头接口、GPU和CPU桥接接口，以及CPU的负载和处理能力。实际上，计算机上送云端的带宽最好情况下也只有1G。
而如果有多个摄像头，情况会变得更复杂。想象一下有多个10GigE、CoaXPress或100 GigE相机，以100 GigE相机为例，速度每秒96千兆比特乘以摄像机的数量。大多数情况下，电脑最大带宽接口PCIe 3.0只有48千兆比特每秒，这成为了一个关键的瓶颈。
02
解决方案
为了解决这些问题，我们提出了解决方案，即在多摄像头和CPU架构之间放置图像采集卡，从而实现压缩和预处理。图像采集设备能够提取感兴趣区域（ROI），进而减少总数据带宽。我们需要满足实际应用的需求，包括高带宽相机接口、多相机接口、超高精度同步和可定制的IOs用于控制外围设备。在处理过程中，还需要低延迟、大DRAM以支持计算复杂的算法，因此需要多个千兆比特每秒的内存访问带宽。实时压缩和ROI选择是解决这些问题的有效方法。
图3 图像采集卡的作用
图4 图像采集卡的作用
考虑到开发人员的需求，便捷的开发也是一个关键因素。我们采用了开放的FPGA，使得软件工程师可以在图像采集卡上放置特定的IP，并利用FPGA集成开发环境快速实现算法和方案开发。这要求图像采集卡在灵活性和易用性方面也要表现出色。
关于系统集成，我们考虑到若有PCI 3.0 x8或x16接口能够获得最大性能，并且具备小尺寸和被动冷却性能，我们未来或许可以考虑将图像采集卡和计算机合二为一。
03
虹科产品与解决方案
基于上文的发展背景，虹科推出了一款名为虹科-Gidel FantoVision 40的开创性小型计算机。这款计算机可以连接高达4台10GigE Vision或4台CoaXPress 2.0相机，从而实现图像采集和处理。该计算机的创新架构将高端图像采集与实时图像处理和/或压缩相结合，采用了Nvidia JetsonTM嵌入式计算机，并在Intel Arria 10TM FPGA上进行可选的预处理/压缩。
图5 HK-Gidel FantoVision 40产品
虹科-Gidel FantoVision还有一个显著特点，即其开放式体系结构支持GPU和FPGA上的嵌入式AI/图像处理。软件工程师可以利用CUDA C/C++和NVIDIA的库在GPU上编写算法。使用新颖的ProcVision套件，在FPGA上开发和部署可选的预处理块既简单又快速。
通过多个虹科-Gidel FantoVision单元的相互连接，我们可以提供独特且可扩展的拓扑结构。利用InfiniVision开放式框架抓取器流程，我们可以处理多达100个传感器的同步数据。
虹科-Gidel FantoVision为高带宽、低延迟应用提供了新型紧凑、经济高效、可扩展的视觉和成像解决方案。例如，在交通监测和面板检测等应用中，能够提取和识别高分辨能够提取和识别高分辨率图像中的关键信息，如车牌号码等。这些信息可以通过云端或其设备进行传输，而不需要过多的带宽。
图6 应用案例
