影像感测无所不在 全局快门赋能计算机视觉应用

大多数人每天都正在使用计算机视觉。举个例子来说，一个是智能型手机上的脸部辨识。如果消费者手机上有这一项功能，平时也可以用于解锁屏幕或是电子支付，这表示你正在使用计算机视觉。另一例子，是当平时去超市或者超商付款时，收银员会扫描所购买的产品条形码，这类日常生活情境都会用到计算机视觉。

计算机视觉与光学感测
全局快门一次可以拍摄整幅影像，而且拍摄时间非常短，成像效果非常准确，因此完全可以用于计算机视觉领域。
意法半导体亚太区影像事业部技术营销经理林国志指出，计算机视觉是人工智能的一个分支，能够让计算机和系统从数字影像、视讯和其它的视觉所输入的数据中，提取出有意义的信息，并根据这些信息采取行动或提出分析建议。

在脸部辨识应用中，具有意义的信息就是脸，系统会对脸进行影像采集，然后进行信息处理，得出的结果就是验证使用者身份，接着解锁手机。在一般的情况下，计算机视觉都会产生信息输入和输出，就以条形码扫描机来说，扫描条形码即是信息输入，透过镜头采集条形码的影像，并由系统读取，最后加以辨识产品和价格。

一般来说，光学影像传感器分为两种主要的架构。除了全局式快门之外，还有卷帘式快门，总共分为这两种镜头架构。卷帘快门的设计目的，是为了捕捉静态影像和视讯拍摄，因此需要非常高的分辨率和色彩处理能力。目前大多数镜头都属于卷帘快门，例如智能型手机的主镜头、自拍镜头、建筑中的监控镜头，甚至数字相机等，都是采用卷帘快门技术。因为这些应用情境都需要捕捉彩色影像，因此需要相当高的分辨率。

唯一的问题在于，采用卷帘快门的计算机视觉技术，都是逐行拍摄影像。照片采用卷帘快门逐行拍摄的话，整个影像只有一帧。如果拍摄对象是车辆这样的快速移动物体，影像可能会扭曲，无法显示拍摄对象原本的样子。如果影像扭曲就无法显示物体的真实状态，也就不能用于计算机视觉，无法判断影像中的是不是另一辆车。因此，卷帘快门没有被应用于计算机视觉技术中。然而，全局快门的原理完全不同，一次可以拍摄整幅影像，而且拍摄时间非常短。只要被拍摄的对象不是快速移动的物体，成像效果就会非常准确，因此完全可以用于计算机视觉。

计算机视觉应用情境


 
图一 : 全局快门传感器的适用情境（source：st.com）

计算机视觉的应用都会使用到全局快门感测技术。实际上，计算机视觉的应用情境无处不在，可以将其归为四大类。第一类叫做深度感测，这项应用时间比较久。透过使用两个全局快门传感器搭建一组立体视觉系统，或者是使用一个全局快门传感器搭建结构光镜头系统。通常深度感测可以用于脸部辨识和3D扫描这类的应用情境。

第二类叫做生物辨识，这项应用可以采集人体各个部位的信息，并将其用于身份辨识。人脸信息可以用于脸部辨识或者2D智慧解锁，体形信息可以用于人的存在侦测，除此之外还有手势侦测、掌纹辨识、虹膜辨识等。这些人体信息都是独一无二的，包括人脸、掌纹和虹膜等，皆可用于身份辨识。另外还有驾驶与车室内监视，采集司机与乘客的行为信息进行分析，产生的结果就是系统发出的各类警示。

第三类就是扩增实境（VR）、虚拟现实（AR）和混合现实（MR），这类应用涉及了元宇宙的概念。当戴上VR头部显示设备之后，使用者看不见周围环境，只能依靠光学传感器才能知道环境的变化。通常VR头戴式显示设备在内部和外部分别有一个镜头，内建镜头用于眼球追踪，并透过两个全局快门传感器进行眼球观测，因为在实际应用情境中需要感知你的眼睛看哪个方向，透过眼球追踪得到的信息将提供不同的反馈。外置镜头则用于外部环境的追踪，主要感知外部环境而非使用者眼球的变化。

这里有两类重要的应用情境。一类叫做6DoF，针对的是头部行为。当使用者戴上VR头戴式显示设备后，就会获得6D感知能力。头部可以做出左右、上下、前后六个角度的动作，因此被称为「6DoF」（六个自由度追踪）。另一类称为「SLAM」（同步定位与地图构建），例如使用者需要掌握所处房间的状况，墙壁在哪里、沙发在哪里、自己所处在哪个位置，戴上VR头戴式显示设备走动的时候，如何避免撞墙等。因此在使用AR／VR装置的过程中，手势侦测、掌纹辨识、脸部与情绪追踪等功能是非常重要的。

除此之外，使用VR/AR装置还可以进行生物辨识，例如手势侦测或者手势追踪。通常在这种情境下，装置可以透过用户一个手势来辨识这是哪种行为目的。例如使用者进行一场演讲，透过一个手势就可以自动翻到下一页简报或者翻回到首页，又或是透过手势告知助理单击或双击鼠标。这些应用都是透过手势侦测来加以实现，装置无需揣测用户想表达的信息，只需追踪手势即可。

最后一类应用是机器人与工业控制。例如无人机和扫地机器人在使用过程中需要避免相撞，所以要有物体侦测和情境分析能力，而这些都需要使用全局快门传感器。此外，前文所提到的条形码辨识，也属于工业控制中的计算机视觉应用一环。



 
图二 : 全局快门与卷帘快门的技术差异（source：st.com）

车内传感器
至于汽车领域的应用，车内传感器主要包括四大类：包括车内镜头，ADAS镜头、观测镜头和售后镜头等，主要用于行车记录器。意法半导体亚太区影像事业部资深技术营销经理张程怡表示，2021年底车内镜头的市场渗透率约为10％，而到2024年就会达到50％。因此这一新兴市场发展是十分迅速的，产业生态中的相关厂商正纷纷涌入。

车内镜头并不只一种，Euro NCAP为车辆评估标准体系，曾经对车内监控系统分为两类：一类叫做驾驶监控系统DMS，另一类叫做车内乘客监控系统CMS或者OMS。驾驶监控系统的观测对象就是司机，主要监控司机是否注意力集中，是否有分神或是打瞌睡，因为这些现象会严重危及行车安全。而车内乘客监控系统则主要观测乘客状况，特别是儿童，因为有些粗心的使用者下车后会将孩子遗留在车内。

驾驶监控系统DMS镜头安装在驾驶员面前，观测对象主要是脸，镜头必须做得很大，大概50～60度，分辨率约100～230万画素。重点之一在于这里必须采用NIR镜头，因为不仅需要白天对驾驶员进行监控，晚上也是需要，因为很多人会在夜里开车。在这种漆黑的环境下，必须要有光源投射在驾驶员脸上，但肯定不能使用可见光，所以需要NIR技术。

车内乘客监控系统观测的是车内所有乘员，但不同之处在于，因为这里需要物体探测和辨识，所以需要彩色影像，而且观测范围比较宽广，因此镜头视角需要更大，分辨率需要更高，才能获取观测领域内所有细部信息。

车内乘客监控与驾驶监控二合一系统，是将CMS、OMS和DMS结合。而车内乘客监控需要RGB彩色影像，驾驶监控则需要NIR影像，因此仅需单一镜头就可以同时支持RGB和NIR，这些都是车内镜头的设计要点。

结语
全局快门传感器的应用范畴十分广泛，除了前文所提及的工业与车用之外，对于智慧家庭和智慧大楼也是非常适合的应用范畴。智慧家庭的应用需要考虑周全，使用者不希望家里有个镜头全天候监视自己，与此同时又想要镜头和传感器带来的益处，因为很多辅助功能可以让用户的生活变得更加舒适，全局快门传感器的优势就是能够实现这一点，而透过计算机视觉开发的功能，还能透过追踪技术来达到人机互动的目的。

至于笔电和个人计算机镜头，也是全局快门传感器的应用范畴。笔电和PC应用全局快门技术的意义，可以进行脸部辨识、手势控制、眼动追踪、舒适度监测和隐私保护。ToF和ALS（环境光传感器）则可进行存在侦测、电池续航、屏幕亮度自动调整和隐私保护。以目前各厂商像是意法半导体所提供的影像产品，都可涵盖上述的所有应用，包括全局快门产品、ToF、ALS等等，以及各种参考设计。