AI视觉市场潜力大，爱芯元智用自研IP打造芯片平台

近年来，本土涌现了一批AI芯片的初创企业。其中有这样一家公司，成立只有2年多，已经完成三轮融资，发布两颗自研芯片。这家公司就是爱芯元智。该公司有何独特能力？AI视觉市场的前景如何？近日，该公司宣布进行一轮品牌升级。值此机会，电子产品世界等媒体采访了公司创始人兼CEO仇肖莘女士以及研发副总裁刘建伟先生。

图 爱芯元智 创始人兼CEO 仇肖莘

1   更名为“爱芯元智”

2021年9月，爱芯科技正式更名为爱芯元智半导体（上海）有限公司（简称为“爱芯元智”），并宣布完成品牌升级。品牌升级后，爱芯元智将向行业及合作伙伴传递全新的品牌理念、品牌元素、技术产品方向和落地情况等一系列内容。

爱芯元智成立于2019年5月，专注于打造高性能、低功耗的AI视觉处理器芯片。核心技术产品支持多种AI视觉任务，广泛适用于智慧城市、智能社区、智能驾驶、智慧零售、智能家居、智能穿戴等多个领域。爱芯元智自主研发的第1颗AI视觉处理芯片AX630A已在2020年12月实现量产，第2颗芯片AX620A也已经于2021年7月成功点亮，即将开始正式的客户推广。

爱芯元智品牌名称变更灵感来自其英文名AXERA——意为爱芯的时代，同时诠释了爱芯元智的技术独创性和保持初心、坚持原创的企业理念。这不仅体现了爱芯元智作为创业公司的朝气和活力，更是代表了其品牌愿景——成为AI视觉芯片行业的领导企业。

2   AI视觉：赛道广阔待开创

边缘侧、端侧的AI视觉处理领域的赛道非常广阔。过去几年，AI已开始落地，且对于环境的“感知”变得越来越重要。因此，相关的AI芯片的发展空间非常巨大，而且能够真正影响到每个人的日常生活。以下是两个案例。

●   传统摄像头的升级改造。

现在很多摄像头是不带算力的，有智能化升级改造的需求。通常有两种方法：①全部替换；②增加中间节点，即增加智能处理的盒子。爱芯元智的方案就可用于第2种应用，例如有20路的1080P视频流，可以用单芯片去把这些视频流做解码，同时做车辆/车牌的检测，运行这套方案的功耗小于3.5 W。

●   计算摄影：超越人眼所见。

在爱芯的实验室里有这样一个展示，暗室里的灯全关了，人眼看不到任何展示，但是相机能够把暗室里的图像获取出来。关键在于信噪比（SNR），人眼在SNR小到一定程度的时候就区分不出来了。芯片处理能够把噪声抑制下去，这样藏在噪声里的信号就能被恢复出来。这主要靠计算摄影，通过计算来恢复出来“消失”的信息。

虽然AI视觉市场很大，但作为一家初创公司，爱芯的策略是准确定位自己产品的销售方向，在众多碎片化的应用里选出应该瞄准的目标。因此，匹配的市场一定是能够把爱芯的芯片能力发挥到极致的市场，而且这种市场起码现在友商还是做不到的。

在产品定位上，爱芯现在的大部分客户都是视觉+计算，例如暗光、夜视能力强的场景（如下图）。

图 夜间视频效果对比（已做人物隐私保护）

但是也有很多纯Pre-ISP（图像信号处理）的视觉小芯片客户，例如翻译笔市场，它的前端有一个小摄像头，一扫就相当于连续拍了几张图片，把这些图片拼接成一句话，然后再用AI扫描这句话进行翻译，所以说到底就是通过摄像头感知，后面加了小计算。此外，扫地机器人也是一种，原来没有什么AI能力，主要靠激光雷达等感测，现在有了轨迹规划能力。

3   相比同类产品的三大特色

很多设计公司和工程师有自己的长期合作伙伴，且它们也在开发AI芯片。作为后来者，爱芯元智如何争取到这些客户？其优势如下。

1） 核心IP自研。这一点非常重要。因为很多家芯片企业关键的IP是外购的，例如买ISP或NPU把它加进去。但是这样的芯片性能取决于IP供应商，缺乏发展后力。

2） 注重技术上的创新。爱芯元智不希望做Me too（我也有）的产品，所以爱芯的ISP设计没有沿用传统ISP设计的pipeline，而是采取弯道超车——用AI的方式取代了ISP里至少4个模块。爱芯的秘密武器在于，传统ISP都是硬件pipeline，因此每次想升级都要重新流片。例如一些龙头企业做了十几年的，已有十几代流片的经验，经过十几代不断优化才做到了今天这个水平。因此若想在一两年之内赶上，一定要采取不同的方式。爱芯的方式就在于把ISP里很多关键模块软件化，好处是只需迭代模型，性能就可提升。所以从2020年旗舰款芯片AX630A推出到现在，爱芯ISP每2周就有新模型推出，画质一直在不断提升。  

3）能够给客户提供差异化的性能。例如画质做得很好。客户第一个认可的就是爱芯AI ISP的性能，尤其是做智能交通，爱芯的AI ISP在暗光下表现出色，这刚好是该客户的一个痛点。

算力方面，如果将芯片比作智能手机，大算力相当于把一个“专家系统”装到爱芯的芯片里，这个装的过程其实就类似于开发APP的过程。以前结婚等活动需要找一个专职的摄影团队来跟拍、剪辑，有了大算力之后，就相当于把这个摄影师装到爱芯的芯片里，就可以实时分析拍到的素材，按照摄影师的角度提供一些视频剪辑的操作，省去了多角度跟拍、剪辑等环节。

4   两大硬核IP

爱芯有两大核心IP：①业内领先的混合精度的NPU，即AI的运算单元；②AI ISP。二者的关系是：混合精度NPU是计算平台，AI ISP（图像信号处理器）是基于该平台实现的一个核心应用。

1） 混合精度的NPU

爱芯的优势：①整个NPU效率的提高，因为减少了数据搬运，从一定程度上减小了数据墙和功耗墙的阻碍。②爱芯的整个算法和NPU的混合设计，能够突破硬件的一些限制，达到更优的水平。

●   提升有效算力

在AI算法方面，现在都在谈NPU的算力，诸如10T、100T、200T等，但是这种标称算力着重于NPU核里有多少计算单元，然后根据计算单元每秒能做多少操作来计算出TOPS。但是真正跑任务时，计算单元大部分时间跑不到标称的算力。可见NPU的效率比标称算力更重要。

阻碍NPU计算单元发挥作用的一个重要原因是数据搬运。业内有一个共性问题——数据墙，意味着尽管有计算单元，但是如果数据搬运不过来，那么这些计算单元大部分时间是闲置的。所以宣称10T算力没用，因为效率如果只有15%、20%，有效算力也就是1.5T、2T。

现在业内有很多存算一体的架构试图解决这个问题，但是离量产还有一定的距离。爱芯元智从另一个角度来解决数据搬运的问题：把需要搬运的数据量减下来。爱芯的混合精度NPU减少了数据搬运。因为传统NPU的数据表示格式一般是8比特、16比特，才能最后得到AI算法的精度；但是爱芯研究发现，AI网络中有很多层不需要如此高的表示精度，有的2比特、4比特就足够了。在此情况下，整个网络数据表示或所需要的数据量，平均4比特就足够了。这样，相比原来的8比特网络，数据搬运量可能就变成原来的1/4。从这个角度来看，爱芯能够提升现在NPU的使用率和效率，能在单位面积内提供数倍于传统NPU的等效算力，同时还能把成本和功耗降下来。

●   NPU设计理念的革新：算法和芯片协同设计 

传统的方法是算法是算法，硬件是硬件。而爱芯元智的方案是协同设计、相互迭代，能不断让算法设计和硬件设计得到优化。

具体地，爱芯的算法团队可以提供算法网络的结构、量化需求/算子需求、内存访问的需求等很多详细信息给NPU设计的架构师。爱芯的硬件架构师根据这些算法的需求来调整或优化整个NPU的设计。这样能使算法跑起来的效率达到优化的水平。

同时硬件工程师会把算子硬件加速，例如数据流优化、存储优化、量化限制、硬件限制等硬件限制提供给算法工程师，这样算法工程师在设计算法时，可以考虑到硬件限制，从算法的角度来规避一些硬件上的短板。

经过上述改进，AX630A与一家竞品进行了实际效果对比，如表1，可以看到在公开数据集上，即Imagenet上跑Resnet50开源网络。在Resnet50的精度基本不变、相似的情况下，竞品1秒只能处理约90几帧的图片流、视频流，爱芯630A能够处理1 300多帧的图片流、视频流。可见AX630A有非常大的性能提升。

表1 网络运行速度对比

另一家客户在运行一些私有数据集上的实际应用结果显示，在检测方面，竞品在720P图片上检测1帧图片大概需要33 ms，爱芯在分辨率更高的1080P大图上运行只需4 ms。可见性能相差了几倍。

2）AI ISP

ISP主要指图像信号处理的流水线（pipeline），爱芯的设计方法颠覆了传统的ISP纯硬件的思路，把ISP里的关键模块AI化，所以叫AI ISP，优势是打破了传统ISP算法的天花板，并且通过持续的AI算法迭代可在最短的时间内把图像处理的效果达到行业新高度。

爱芯元智AI ISP能够用AI的方式完成ISP里的几个关键模块，例如高动态、3D降噪、锐化色彩还原等成像的关键功能，这得益于爱芯的ISP设计，ISP与NPU也有一个联合设计，这样就能把整个NPU的能力在ISP的pipeline上使用起来。

从一款手机的实验演示上看，用了爱芯AI ISP之后，除了能做降噪、高动态，另外一个非常关键的作用是能够提升图像的分辨率。分辨率为什么重要？例如手机、电视上有很多小视频，绝大部分的分辨率是720P，最好的是1080P，如果把这些视频在4K、8K的电视上去显示的时候，就会发现分辨率非常差。所以爱芯正在研发的另一个技术是怎样把一个较低端的视频源用AI的方式去变成4K、8K的质量。

5   两款芯片覆盖高端和大众领域

爱芯目前已发布两款芯片，AX630A是高端旗舰产品，AX620A面向主流市场。它们都强调高算力，低功耗，高算力利用率。

1）AX630A是爱芯元智正式量产的第一颗芯片，等效算力在int4的情况下是约是28.8T。该芯片的另一特点是在如此高算力的情况下，功耗可控，约为3 W。低功耗对于很多边缘测产品是很重要的，因为它们往往是在户外的，夏天的环境温度有时可达40、50 ℃，因此功耗对于这类产品的稳定性有非常大的影响。

2）AX620A是爱芯元智研发的第二颗芯片，目前已经开始客户推广，计划在2021年年底量产。爱芯希望用这颗芯片面对主流的产品市场，大概是4K 30帧以下，500万或400万像素的市场需求。

AX620A的另一个特点也是低功耗：在分辨率较小的1080P情况下，功耗可小于1 W，可用于电池供电的边缘侧产品。

（本文源于《电子产品世界》2021年11期）