双目立体视觉带你进入 FCW / LDW 新视野

现今，最火热的 ADAS 应用莫过于 前方防撞系统(Forward Collision Warning, FCW) 与 车道偏移系统(Lane Departure Warning, LDW)。
主要作用是预先侦测到任何会发生事故的物件或车辆、行人，尽而达到预防意外的功效! 以及搭配车道偏移预测加强辅助驾驶者 ! 但因受限于技术尚未成熟仅能针对特定的物件进行描绘，像是车辆或是行人。故善用双目立体视觉技术，即可提高物件辨识率以及辨识更多种类的物件就是未来的研究一大方向，更是各家学术单位、公司百家争鸣之处。 

双目立体视觉应用层面相当广泛，能用于前车侦测与防撞、车道偏移、号志识别、行人侦测等等 ADAS 相关安全应用，如下图1。 即透过新颖的双目概念建立新的维度 (物体深度/远近)，为车用安全领域多一种新的发想与延伸应用，更能轻易的识别标的物，以利于提早迈入自动驾驶的领域之中。并能配合光学焦距的设计，使识别物件距离达到另一种层次提升，替未来车辆开拓市场。

图1  双目立体视觉应用场景

本方案提供一套 Sky Eye 双目立体视觉 ADAS 产品开发原型与技术资源，如 "展示板图片" 所示。要让初入此领域者的开发者更快速地上手应用，缩短开发周期并更能专注于开发算法，设计出符合一定水平的 ADAS 产品。目前主要针对前车侦测与辨识进行开发，并搭配 Sony IMX224 车用感测器于实际架设在车辆上进行道路测试，如下图2，能够侦测出前方车辆距离，最远侦测距离约50米。并迈入车用安全 ADAS 与自动驾驶之未来新领域中，创造更好的应用价值。

图2  Sky Eye 双目视觉前车侦测实测示意图

借由专属的双目立体视觉算法创造建立三维空间(景深)。如下图所示，取得两颗镜头之影像后，由视差概念计算获得新的空间 "视差"  ! 同时，即可推导出车辆距离 (视差值越大距离越近，反之视差值越小则距离越远) !  亦可用彩色方式呈现视差图，深浅程度由红、澄、黄、绿、蓝来表示近到远的物件，如 "实测结果与彩色视差示意图" 所示。

图3  Sky Eye 双目视觉前车侦测之视差原理示意图

本方案提供的技术核心参考，取得视差图后就可依照算法流程进行分析，由改善视差影像、地面估算、移除天空等步骤构成，即可将场景中的物件分类出来。最后统计资讯并利用条件筛选出车辆，如同下图结果显示即表示搜寻到前方车辆 !!  经实际测试，执行速度约可达到每秒 27 张 FPS，可侦测到 50 米内的车辆。

图4  Sky Eye 算法流程大公开

最后，亦可善用 S32V234 APEX 视觉加速器所量身打造的 NXP eIQ Auto 套件与深度学习框架来提高识别车辆的辨识率 !! 达到辨识率与检测速度更进一步的提升!!

图5  eIQ Auto机器学习软体套件之应用场景

► 场景应用图

► 产品实体图

► 展示版照片

► 方案方块图

► 实测结果与彩色视差示意图

► 核心技术优势

优势一 : 能配合双目视觉之视差概念，建置深度资讯以利于识别物件。比起单一镜头，双目视觉多一个维度运用更能轻易识别远方的车辆，应用前景极为广阔可识别车辆、行人、号志与道路。 优势二: 提供两路 MIPI 接口，其镜头相距 30 公分以扩大视差效果，如下图3，搭配 Sony IMX224 镜头可侦测 50 米内之车辆。以视差原理搭配长焦、窄角镜头即可侦测更远的物体(车辆)，更加强化双目视觉的优势。 优势三: 提供齐全的周边配置，如 高画质多媒体界面(HDMI) 、 乙太网路(Ethernet) 、异步收发传输器(UART) 接口。 优势四: 可快速上手应用 NXP eIQ Auto 深度学习套件，与双目视觉结合能增加辨识速度。亦可配合任何一个深度学习的架构作延伸应用，提高物件识别的准确度

► 方案规格

1. 主芯片 MPU 规格 (NXP S32V234)  :

    -  搭配 4 颗  Quad Cortex-A53 高效能处理器，最高时脉为 1GHz

     - 搭配 ISP 图形处理器、APEX 视觉加速器、GPU 图形加速器等核心

            -  ISP 图形处理器 提供 HDR、色彩转换、白平衡、自动曝光等技术

            -  APEX 视觉加速器 由 64 个小型运算器组成的硬体加速器，能提高约 8 倍的运算性能。

            -  GPU  图形加速器(GC3000) ，运算速度高达 800 MHZ 。

   -提供 4MB 内部记忆体 与 DDR3/DDR3L/LPDDR2 外部记忆体

   -提供 H.264 影像解码与编码技术 (8-12bit)

  - 提供 SD card 、Ethernet 等周边接口

   -符合车用安全规范 ISO 26262 标准 与 车辆安全等级 ASIL 的要求 2. 镜头模组 Camera Module 规格 (Sony IMX224)  :

    - 提供最高分辨率为 1280(H)x960(V) 共 1.23 百万画素

    - 提供最大祯数率 120 frame/s

    - 提供 10 and 12 bit数位类比转换器

    - 提供低光源时，良好的高分辨率彩色图像

    - 符合 AEC-Q100 2级 3. 外部记忆体 External Memory DDR3 规格 (MT41K256M16TW-107) :

    - 最高运行时脉为 933 MHZ

    - 储存容量为 512 Byte

    - 操作电压为 1.283 至 1.45 V

     -操作温度为 0 至 95 度 4. 电源管理集成电路 PMIC (PF8100/PF8200) 规格:

     - 提供 7 个高效能降压转换器

     - 提供 4 个线性稳压器

     - 提供看门狗监控机制

     - 符合 ISO 26262 标准与 车辆安全等级 ASIL-B 的要求 5.  低静态电流同步降压控制器 DCDC 规格（NCV881930）：

     - 工作频率为 410 KHz，具有同步功能

     - 提供稳定的工作电流 30umA

     - 提供热关断(TSD) 机制

     - 符合 AEC-Q100 与 PPAP 标准