基于FPGA的双图像传感器设计方案

　　摘要：本文介绍了在Lattice FPGA平台上实现的双图像传感器设计方案。该方案通过处理两个图像传感器的数据来对改善最终的图像数据。

　　当人们考虑有两个图像传感器的应用时，首先很可能想到的是一个三维摄相机。不过，也有许多设计可以通过使用来自两个图像传感器的数据进行改善;一个例子是汽车司机录像机(CDR)的黑盒子，这通常是安装在后视镜附近，拥有两个摄像机(图1)。一个摄像机朝向挡风玻璃，而另一个摄像机指向司机。在本地的存储器芯片中存储摄像机的视频，如果有意外事故或疑问，可以进行检索。　　

 

　　两个摄像机和其数据的其他应用包括对监视的精确分析，在车中对行人的检测。在这些设计中，这两个相机的输出被用来创建一个包括深度感知的算法。有了这些数据，处理器可以非常精确地“看到”图像和从阴影或其他物体中辨别出人。

　　所有这些设计都要求有一个图像信号处理器(ISP)。然而，一个ISP支持两个传感器并不简单。虽然大多数ISP可以支持两个图像传感器的吞吐量，绝大多数ISP器件已经设计成只有一个传感器接口。即使有两个端口的ISP往往不能组合在一起，同时处理两个图像，或者，如果他们能做到，往往是非常昂贵的。

　　除了这个ISP接口被限制为只处理一个图像传感器之外，更高分辨率的图像传感器构成了另一个设计挑战。从历史上看，通过统一的CMOS并行总线(图2)，所有高达720p30分辨率的图像传感器都被连接到ISP。　　

 

　　对于720p60和更高的分辨率，图像传感器无法通过CMOS并行总线进行高质量的传输。因为并行总线速度必须高于70MHz，开关噪声导致图像传感器的质量下降。为了解决这个问题，图像传感器供应商引入串行而非并行总线来传输数据。然而，由于许多ISP器件只设计成采用并行总线，需要将新的传感器的串行总线转换到这个并行总线(图3)。

　　最后，对于需要3D算法的应用，这两个图像传感器必须同步工作。这不容易做到，因为每个传感器的制造商都有自己的方法和格式。例如，一些图像传感器使用I/O引脚来进行触发，而其他制造商则使用I2C，SPI或两者兼而有之。几乎所有的ISP都面临着设计挑战，以支持多种模式，从而确保各种传感器是同步的。

　　一些ISP厂商都试图来解决这个问题，通过提供两个独立的接口和两个处理引擎来支持两个图像传感器。但是，结果是构成了一个非常昂贵的ISP器件，不仅图像处理能力远远超过实际的需求，而且对软件开发人员而言，配置和编程更加复杂。