双目立体赋能3D机器视觉，银牛携芯片模组登陆中国市场
3D深度感知主要有3个技术方向：双目立体，结构光，飞行时间（ToF），结构光起步比较早，但是技术的局限性较大，而双目立体的发展速度较快，势头迅猛。
从物理原理上，双目立体和结构光二者都用了三角测距，但是双目立体是依靠自然的红外反射在摄像头上产生特征点，来计算对象物深度的数据。结构光需要有一个发射光的发射源，带编码的光到了对象物体再反射回来来计算这个深度。结构光的弱点是在室外时，结构光发射带编码的光经常受到环境的干扰；而双目立体不容易受到室外光的干扰，因此室内室外都可以用。所以结构光只能在室内使用而且距离比较近；而双目立体具有明显优势。
2 双目立体将是3D机器视觉等高精尖领域的主角
尽管结构光或ToF有它们各自的技术优势和特点，例如成本、近距离，但是随着机器视觉、AI的不断发展，最终会要求更高的精度、处理速度/刷新率、分辨率等，例如机器人、VR/AR等应用，较适合双目立体，因为双目立体的优势在于能够提供更高的精度和更快的处理速度。
因此，如果把3D机器视觉比喻为一场演出，ToF、结构光只是暖场的，真正的主角和演出将由双目立体来主导。不过，未来会是二者或三者融合的方案。当然融合也是有主有辅，双目立体会占最主要的角色，可以配合结构光和/或ToF、激光测距等，以实现更完善的解决方案。
哪些领域有望最先用到双目立体技术？银牛微电子公司看好4个技术应用方向：①避障和自主导航，例如无人机、消毒机器人、送餐机器人、巡检机器人，包括部分的安防机器人，还有自动驾驶范畴内的老年代步车。② 3D扫描重建，例如用于医学、医美，口腔牙齿建模为矫正带来划时代的变革。③人脸识别。人脸识别不仅仅是比对照片进行人脸的识别，更重要的是今后在金融支付/刷脸支付场合用于防伪。④尽管目前双目立体在中国的应用主要集中于定位，但是将来会有一些非常巧妙而非常难做的劳动机器人出现，例如欧美有客户用双目模组做自动摘葡萄、摘桃子，有一些国外公司与中国客户接触做自动采茶，这需要精准识别茶叶，再用剪刀准确控制和剪切下来。
3 银牛3D芯片及模组登陆中国市场
从感知到计算，再到系统一体化，是每个机器视觉必须要具备的环节。实际上，机器视觉不仅是你看到了什么，其次还要明白你的机器视觉需要达到什么目的？机器要理解这个世界，因此机器要有分析能力，即要有强大的计算能力；之后，还要进行判断、决策、执行，因此需要系统的整体设计。可见，感知、计算、系统都是缺一不可的。如何获得这样一揽子的解决方案？
近日，3D芯片的引领者Inuitive的母公司——银牛微电子宣布，面向机器人行业重磅推出旗下全新产品“3D机器视觉模组C158”。该产品基于银牛（Inuitive）NU4000芯片设计，高度集成3D深度感知、高精度姿态跟踪、SLAM（实时定位建图）引擎与强大的AI算力于一体，可为业界提供从实时3D感知、计算到系统一体化的解决方案。
C158具备业内领先的深度感知能力，深度分辨率可达1280 x 800 @60fps，感知距离达到6m，深度感知精度误差仅为1%，满足了对3D深度性能有高要求的应用。在AI性能方面，该产品拥有2 TOPs的AI运算能力和灵活配置，不但能有效地支撑从感知到运算的各种需求，还能减少主控芯片 / 系统的负担，提高实时性。
在功耗方面，C158仅以0.5 W即可实现5~6 TOPS算力，可轻松满足设备端功耗要求，并且产品内置的通用型ARM核，支持系统的独立性，使系统可以同时兼顾协处理器和主控系统，为设计提供极大的灵活性。
图 C158模组：从感知到计算到系统一体化的解决方案
那么，市场上已有一些双目先驱，相比他们，银牛/Inuitive的特色是什么？为此，电子产品世界记者采访了银牛微电子领导：董事长兼CEO 曲冠诚、联合创始人兼首席战略官白逸、联合创始人兼副总裁何火高。
从左至右：银牛微电子联合创始人兼首席战略官白逸，董事长兼CEO曲冠诚，联合创始人兼副总裁何火高
4 银牛与Inuitive的关系
银牛是2020年为并购Inuitive而成立的。Inuitive在以色列已经有近10年的历史，是世界上第1家把双目、SLAM功能（实时定位与建图）技术、深度学习功能集成于芯片里的企业，这个芯片就是NU4000。
Inuitive具有丰富的设计经验，所有人员的从业经历平均超过25年，涉及到8个顶尖学科，例如光学、计算机视觉、嵌入式系统等，仅仅光学的储备能力，在中国都很难找到相匹配的团队。众所周知，全球第1个3D结构光芯片技术是以色列PrimeSense公司推出的，后来该公司被苹果公司并购，苹果于2017年推出了具有支付安全级的人脸识别结构光手机iPhone X。后来PrimeSense的CTO、项目负责人加入了Inuitive。
2020年，银牛微电子并购了Inuitive。可见，银牛为并购而成立，站在了巨人肩膀上。
并购后，银牛在Inuitive国际客户验证的基础上，进一步根据中国客户的需求来调优产品，发布了新模组C158。其中“C”代表“China”，代表满足中国客户的需求。
银牛的战略定位是成为双目视觉领域的异构平台解决方案提供商。为此，银牛推出芯片和模组等底层技术，在此基础之上再加上各种应用算法，以满足不同行业的需求。
2022年银牛看好三个行业能够落地：①辅助驾驶（低速的），②各类的机器人，让机器人更像人，增强跟人的交互，③ AR/VR。下一步，银牛还看好医疗等方面的应用。
市场上还有一些厂商做类似产品，例如英特尔RealSense是双目的先驱，多年来并购了很多公司，有十几年的储备，在机器人行业颇有建树。银牛认为和友商不是竞争的关系，目前在3D市场兴起的时候，参与的开发者越多越好。
在此领域，银牛提供差异化的产品。首先银牛不认为自己是一家单纯的AI通用芯片或3D感知芯片供应商，银牛要做人工智能3D计算时代IoT和边缘端完整的异构计算平台，以及在这个平台之上的生态系统，这就是银牛的芯片不仅仅能提供3D感知，还有AI、DSP、音视频处理等功能的原因。
5 技术挑战是如何攻克的？
5.1集成了AI等功能，如何降低功耗？
银牛会持续在工艺节点上不断追求更高。NU4000是12nm工艺制程，未来该系列产品还会不断的升级迭代，从现在到2023年的时间，工艺会从12nm前进到7nm甚至5nm。
从芯片设计角度，低功耗是创始人的特色，从创始人第一天开始设计芯片就考虑到的，芯片历来都是功耗最低的，他在设计里把运行起来的过程，包括从原子层怎么消耗做得非常透彻，这是Inuitive的核心竞争力。为了做到这种程度，很多厂商做3D是在开源上改，而Inuitive是用自己的IP，都是从根儿上重新设计。
图 Inuitive的创始人及联合创始人
5.2视觉SLAM对比激光SLAM的优势
二者各有优势，是相互补充的关系，尤其视觉SLAM成本各方面有非常大的优势。
银牛微电子联合创始人兼副总裁何火高判断，视觉SLAM和激光SLAM可能是一种融合状态，会采用激光SLAM+视觉SLAM。如果是融合方案，就能把自主导航应用场景做得更完整。
Inuitive在芯片上做的是视觉SLAM加速的引擎，能够让客户更有效地把他们的SLAM移植到Inuitive芯片上，以实现想要的功能。
5.3 未来允许第三方厂商直接用芯片设计模组吗？
银牛也有芯片客户，至于选择哪种，会是一种商业的考量。
3D机器视觉是刚刚起步的技术，从目前生态的成熟度、解决方案成熟度、参与度来看，还远远无法到拿一个芯片可以直接用起来的程度。而且和其他芯片不同的是：3D感知异构计算平台因为有3D感知部分，它不仅仅是电的问题，还是跨学科的系统工程，从对光学系统的了解，对视觉算法，到后面一整套的从生产制造到标定，要求都是非常高的。因此，目前从客户和生态成熟度来讲，去使用芯片的难度非常高，必须要把这些问题包装在起来，才能赋能整个3D机器视觉生态里的客户以更低的门槛、更低的成本加快研发和应用的落地。
例如三维空间数学，尽管很多人都在做，把三维空间数学添加在应用里的门槛就很高。有了深度图给你，有三维空间，而且每个场景的应用都不一样，把这个应用起来门槛是非常高的。
5.4 未来支持结构光和ToF吗?
银牛微电子董事长兼CEO曲冠诚称，目前我们可以支持结构光，也支持双目立体，，但是我们更看好双目未来的发展。我们认为结构光的技术门槛不是很高，现在双目的市场需求呈爆发式增长。双目有着天然的优势，因为人的眼睛就是最自然的、感知世界最好的工具，加上我们AI的能力，把眼睛和大脑结合在一起，让整个机器能够更好地感知、理解以及执行任务。。
实际上，NU4000现在就可以支持结构光，同时也支持部分ToF（注：不是全支持TOF，因为TOF有很多种）。最终的解决方案发展会是融合的方案，融合也是有主有辅，即使是融合方案，双目会是占最主要的角色，比如配合结构光，或者是TOF，或者是激光测距等等去做更完善的解决方案。我们也是有充足的准备，首先我们的芯片支持结构光，目前TOF也是可以支持，只不过因为目前看到市场需求，我们相信双目有它最大的价值，而且它是更持久、更有生命力的技术。
评论