发布首个自研NPU芯片，与ISP有何区别？
2021年12月14日举行的2021 OPPO未来科技大会上，OPPO面向未来十年宣布品牌“焕新”，并亮出了技术与产品的“创新肌肉”。
在OPPO之前，已有多家手机厂商推出了自研ISP影像芯片，高通在最新发布的新骁龙8处理器也重点提升了ISP性能，甚至改变了命名方式。
马里亚纳MariSilicon X立项于2019年。OPPO芯片产品高级总监姜波本人是芯片行业“老兵”，之前也是OPPO的核心芯片供应商（高通）的从业人员。在回忆来OPPO从事芯片之初时，姜波有两个很深的印象：一是当时春笋（OPPO深圳办公大厦）中有一个办公室贴了一张A4打印室，上面写着“马里亚纳”四个字，团队还刚刚搭建。另一个就是这帮人都坚信“OPPO既然打算做芯片，就一定会将影像这条赛道做到极致”。
也就是说，OPPO从做芯片之初，就坚定将“影像”能力进阶作为自己未来十年的重点投入的长技术赛道。
马里亚纳MariSilicon是OPPO首颗自研芯片，也是全球第一颗6nm影像专用NPU芯片。其具备四大技术突破：
第一，强劲的AI计算性能与领先能效。
马里亚纳MariSilicon X集成了自研的MariNeuro AI计算单元，提供高达18TOPS的最大有效算力（iPhone 13 Pro Max搭载的苹果A15 Bionic芯片AI算力为15.8TOPS）。AI算力强劲同时，业界领先的11.6TOPS/W的能效表现也同样重要，这依赖于OPPO自研芯片与AI算法的高效融合与软件一体优化。
例如在运行OPPO自研的AI降噪算法时，马里亚纳MariSilicon X能够以4K的规格，实现40fps的处理速度，相比于此前Find X3 Pro通用NPU支持的2fps速度，实现了20倍的性能跃升，同时功耗降低超过50%，体现了越专用越高效的优势。
马里亚纳MariSilicon X还采用了双层存储架构，其集成的片上内存子系统，可提供高达每秒万亿比特的超大吞吐量，保障海量的AI数据在计算时无需离开AI计算单元，避免内外部数据交换带来的读写功耗。此外，马里亚纳MariSilicon X还配备了独立DDR带宽，传输速度高达8.5GB/秒，为芯片内各个计算单元提供独立带宽，让超强算力不会被读写速度所限制。独立DDR带宽的加入，也为手机系统总带宽带来了17%的增量。
第二，行业领先的影像性能。
马里亚纳MariSilicon X集成了自研的MariLumi影像处理单元，支持最高20bit的处理位宽，并支持惊人的20bit Ultra HDR，是目前旗舰平台HDR能力的4倍。在即时呈现出的画面中，最亮与最暗之处的亮度对比极值达到100万比1，几乎与人眼真实的感受无异，实现了手机影像的、HDR性能新突破。
第三，20bit实时RAW计算，计算影像无损处理的新范式。
马里亚纳MariSilicon X的强大性能帮助OPPO重塑无损影像链路，将传统链路只能在后端完成的AI计算推向了拥有最多原始信息的最前端——RAW域，为计算摄影的未来发展带来革新。
传统计算摄影的视频处理基本是在影像链路的最末端，即YUV域执行，但链路中的多次转换会导致图像数据丢失了大量的信息和细节，这也导致传统计算摄影只能对有损的信息进行处理，无法实现最佳的效果。
马里亚纳MariSilicon X引领性地将复杂的AI算法以及20bit HDR融合全部前置到RAW域进行，让AI计算不再受限于信息量的损耗，为整个影像链路输出高质量的图像数据。与传统后端计算相比，马里亚纳MariSilicon X的实时RAW计算能够带来8dB的图像信噪比提升。
第四，专属的RGBW Pro模式，实现传感器能力的最大化。
拥有马里亚纳MariSilicon X之后，OPPO第一次完成了影像垂直链路整合，RGBW Pro模式就是最好的例证。通过双通路设计，马里亚纳MariSilicon X首次实现了对RGB和W像素的分隔处理，最大化利用每一种像素特性，释放出RGBW阵列的全部潜力。马里亚纳MariSilicon X的RGBW Pro模式带来了8.6dB的信噪比提升，以及1.7倍的解析力提升，在传感器尺寸规格都没有变化的前提下实现大幅的影像效果增强。
在四项前沿技术突破的加持下，马里亚纳MariSilicon X以同时支持4K+20bit RAW计算+AI+Ultra HDR的全新规格，为计算影像树立了全新标准，让安卓AI视频，首次拥有了4K表现；也让4K视频，第一次拥有了AI能力。
以上四点，实际上也是OPPO将马里亚纳MariSilicon X定义为“自研NPU影像芯片”，而不是其他厂商所推出的“自研ISP芯片”的重要原因。
姜波对《壹观察》表示：马里亚纳MariSilicon X的主要设计目标，是聚焦通过NPU去解决释放计算影像潜力这一主要问题。OPPO认为未来手机影像最重要的创新方向就是计算影像，而计算影像的上限又是AI算力。如今手机照片的计算影像各家企业实际上做的都不错，但针对影像的专用AI算力各家差异很大，导致在夜景拍摄等极限场景的“所见即所得”与视频拍摄过程中的体验扔不够好，这就是OPPO决定投入巨大资源打造像专用NPU芯片的重要原因。
对于与ISP的区别，整个影像单元其实功能非常多，ISP往往只能解决一部分问题，并且ISP封装之后很难再通过算法进行性能提升。而“自研NPU影像芯片”可以很好地完整解决这两大问题。
手机厂商究竟要不要自己做芯片？
手机厂商要不要自研芯片？一个观点是，芯片产业已有非常成熟的解决方案，自研模式投入周期长、风险高。
高通产品管理副总裁Judd Heape12月初在骁龙技术峰会上谈到，手机厂商在如今打造的ISP芯片特性，后续将会被集成在骁龙旗舰主芯片中，取代目前额外增加硬件的方式。高通全球CEO安蒙在接受《财经》记者专访时评论称，手机厂商的专长在于打造完整的手机终端交付体验，如果芯片与终端两头兼顾，要耗费不小的精力。
但从另一个角度来看，全球高端手机厂商，苹果、华为、三星无一不具有自主研发的芯片实力。苹果手机的创新力近年来屡遭诟病，但其在A系列芯片的发布依然备受瞩目，并被认为是苹果手机能保持强有力竞争优势的关键。华为更是依靠对麒麟芯片的长期投入，打造了与其他手机品牌不同的差异化能力与影像护城河。
更重要的是，如果没有自研能力，在外部形式充满不确定的情况下，谁也无法绝对保证不会发生类似华为芯片“卡脖子”之痛。即使退一万步来讲不谈供应链风险，公开市场的通用SoC芯片产品，无法做到对特定品牌、特定人群与特定机型进行精准优化。手机企业一是很难打造差异化产品，二是很难将自身用户需求进行底层精准定义与功能创新。导致的结果，就是产品高度同质化，再加上某些手机品牌热衷于“抢首发”从而导致行业不断催生“内卷”。
OPPO创始人兼首席执行官陈明永在今年OPPO未来科技大会上的表态也正面回答了这一问题：科技公司必通过关键技术解决关键问题，如果没有底层核心技术，就不可能拥有未来。而没有底层核心技术的旗舰产品，更是空中楼阁。
陈明永强调称：“OPPO会持续投入资源，用几千人的团队，脚踏实地地做自研芯片”。
《壹观察》了解到，为了开发马里亚纳MariSilicon X，OPPO组建的芯片研发团队高达2000人（不排除同时有研发其他芯片），其中很多核心人员都是来自于一线的半导体大厂。
OPPO拥有“马里亚纳”意味着什么？
从马里亚纳MariSilicon X这颗NPU芯片本身定位来看，很有意思。
首先，其定位从设计之初到如今量产都非常坚定：打破手机影像如今的天花板。
姜波对此表示：OPPO智能手机业务此前10来年的发展历程中，已经在影像领域有大量的积累，且在长期采用第三方通用平台的过程中，也有很多AI与CV（计算机视觉）算法的经验，当业界都公认计算影像是未来10年影像领域的发展方向时，如何更好地凝聚这些积累并继续演进就成为关键，这也是OPPO打算自研影像处理芯片的初衷。
手握“马里亚纳”的OPPO也在本届未来科技大会上公开宣布：MariSilicon X这颗NPU芯片不仅是过去十年的总结，也是OPPO未来十年影像的新开篇之作。
第二，首款自研芯片即挑战6nm制程，并且一次流片成功。
6nm制程已经与如今主流的智能手机5G SoC，如高通骁龙778G/778G+，联发科天玑1200/1100处于同一梯队，并且还“挤进”了台积电产能排期。
国外媒体曾报道过一个数据：28nm节点的芯片开发成本约为5130万美元；16nm节点则需要1亿美元；7nm节点需要2.97亿美元；5nm节点，开发芯片的费用将达到5.42亿美元；3nm的开发费用有可能超过10亿美元。
考虑到这是数年前的数据，再加上MariSilicon X并不是一款SoC芯片，其开发费用可能并没有那么高，但业界估计也需要到1亿美元以上级别。而从2018年INNO DAY上OPPO创始人陈明永宣布2019年“研发投入100亿人民币”，再到短短一年后的INNO DAY上“3年500亿人民币”的迅速攀升，还有很大一部分比例都为芯片研发业务所占据。
同时越先进的制程工艺，往往意味着设计的难度越高，可以用到的第三方的成熟IP也就越少，面临的“流片”风险也就越大。
姜波在与《壹观察》对话中也透露称：采用6nm制程工艺的MariSilicon X不仅一次流片成功，而且测试表现也完全达到了开发团队的预期，从前期研发到后期流片的所有投入都算是扎扎实实落了地。这一方面可以说是“极其幸运”，但更说明了OPPO如今这个芯片团队的技术能力与成熟度。与之对比的是，某国产手机品牌在2019年的第二代芯片打造中“流片失败五次，资金就烧了几十亿”，可谓教训惨痛。
姜波认为手机企业做芯片必须掌握三个关键要素：时间、投入、人才，而后者更为重要。OPPO在芯片领域是一个“后来者”，同时切入角度比较陡峭，对标的芯片技术含量比较高，从客观上来讲难度是非常大的。但OPPO不同团队之间协同性非常好，比如芯片与影像打通，算法与硬件的协同都极其高效与流畅，对MariSilicon X芯片在短短不到三年就取得技术突破、流片成功与产品量产可以说同样至关重要。
第三，MariSilicon X芯片已经量产，将于2022年一季度的新一代Find X系列上首发搭载上市。
也就是说，新一代Find X系列将会是OPPO近年来在手机影像上的一次重要突破。这点还要考虑另外一个变量，也就是一加在回归OPPO之后，哈苏战略合作带来的光学、算法与调教的明显提升。开启“双芯时代”的OPPO，由此也将真正踏上未来十年影像的新开篇。
OPPO新品牌主张：微笑前行
在此次大会上，OPPO正式升级了全新品牌主张——微笑前行。
陈明永在大会上表示，“微笑前行”，源自OPPO本分价值观，也来自OPPO打造首款笑脸手机以来一直坚持的“为用户创造惊喜感”的产品思维。
陈明永表示，社会上有很多奋发向上的平凡个体，他们是这个时代的爬坡者。“微笑前行”，代表着OPPO与所有爬坡者的共同行动。OPPO作为微笑前行的爬坡者，未来希望通过科技创新，推动行业与社会发展。让每一位爬坡者在前行路上，有伙伴、有力量。即使置身风雨，也能心向光明，微笑前行。
2020-2021年对于OPPO来说是充满挑战的一个周期，包括重新梳理产品线、调整组织架构、优化渠道体系，提出“科技为人，以善天下”品牌信仰，并明确“3+N+X”的科技跃迁战略。
2021年底举行的OPPO未来科技大会，更像是对OPPO技术、产品与新品牌理念的一次“检阅”。除了发布马里亚纳MariSilicon X芯片之外，OPPO还推出了其第三代AR眼镜：OPPO Air Glass，已经具备量产能力，并具备高携带性与较强的实用性。其首款折叠屏手机——OPPO Find N系列也于12月15日正式发布，成为OPPO展示产品创新实力与冲击期间的新利器。
面向未来十年，OPPO的定位是“微笑前行的爬坡者”，这说明OPPO选择的是一条充满挑战，但乐于拼搏之路。就像陈明永所说：“坚持做正确的事情，对的路，就不怕远，不怕难”，“未来的OPPO一定会有更多原创技术如繁星般涌现”。
评论