布局AI边缘运算商机 IP/芯片/储存业者各有千秋

　　AI迅速崛起，运算分析已开始从云端迈向终端装置，边缘运算势在必行，其发展备受半导体产业关注，且各领域业者也竞相投入开发关键组件/技术，而Computex 2018更成为各技术阵营的火力展示场合。

　　人工智能(AI)发展愈加快速，并开始大举进军终端装置，运算分析已开始从云端转向终端节点，边缘运算发展可说是目前半导体产业热门议题，而2018台北国际计算机展(Computex 2018)也成为各领域业者(如IP、芯片、储存) 火力展示的绝佳场合，纷纷于展会期间发布新的解决方案或市场布局规画。

　　抢攻边缘运算市场 Arm动作频频

　　Arm IP产品事业群总裁Rene Haas(图1)表示，随着物联网的蓬勃发展，Arm预测至2035年全球将会有超过1兆台的联网装置，运用于医疗、汽车、灯具及道路等范畴， 而联网装置数量的大幅成长也将带领终端及云端运算的持续发展。 智能运算将持续推动物联网崭新时代，带领AI变革，促使物联网智能运算无所不在。

　　图1 Arm IP产品事业群总裁Rene Haas表示，物联网蓬勃发展将使联网装置快速增加，智能运算未来将无所不在。

　　因应此一趋势，且为整合生态系统的AI/机器学习(ML)应用、演算与框架，并结合软件优化与硬件IP产品，让各式装置及平台都能支持最常使用的机器学习框架，Arm近期宣布推出三款全新IP产品，分别为Cortex-A76 CPU、 Mali-G76 GPU，以及Mali-V76 VPU，以提升游戏与AR/VR体验，AI和机器学习能力。 透过这三款新产品，Arm将持续强化该公司于行动领域的竞争优势，也再度增强了智能手机、平板计算机、PC等行动终端装置的运算效能。

　　Arm副总裁暨客户事业部总经理Nandan Nayampally(图2)表示，未来5G将推动整个行动产业创新，即将到来的5G联网应用，包含VR、AI或是手机游戏等将会带动更多运算量成长，未来将会有更多不同运算需求产生。

　　图2 Arm副总裁暨客户事业部总经理Nandan Nayampally指出，5G加AI将推动整个行动产业创新，Arm为此推出全新IP产品因应市场需求。

　　Nayampally进一步指出，游戏也是推动行动装置运算持续攀升的关键因素之一。 游戏产业已成目前全球营收规模最大的市场之一，预计在2018年可达到1,379亿美元的产值，这也驱动了消费者对于运算效能的需求。

　　据悉，Cortex-A76是基于Arm旗下的DynamIQ技术打造，和去年所发布的Cortex-A75相比，提升了35%的效能与40%的效率;可为终端装置上的AI/ML提供4倍的运算效能， 于PC和智能手机上实现快速且安全的体验。

　　Mali-G76则比前一代的Mali-G72 GPU提升30%运算效能，以及增加了30%的效能密度，不仅可满足消费者随时游玩高阶游戏的需求，也为开发人员提供更多的效能空间，使他们能编写更多新的应用程序， 为行动应用带来更多高阶游戏，或是将AR/VR整合至生活当中。

　　最后，随着UHD 8K需求逐渐攀升，为确保IP能支持智能手机和其他装置编码译码运算，Arm便推出Mali-V76，可支持高达60fps的8K分辨率或四部60fps的4K串流影片，消费者能同时串流四部4K分辨率的电影、 在视频会议中录制影片，或者以4K观看四场比赛;或在较低分辨率的状况下，仍能呈现高分辨率画质(Full HD)，并能支持多达16部串流影片组成4×4的电视墙。

　　Project Trillium亮相 加速建构ML生态系

　　与此同时，为提升终端装置机器学习效能，Arm也于2018年初发表Project Trillium平台，包含全新机器学习处理器(ML Processor)、对象侦测处理器(Objects Processor)， 以及Arm神经网络软件(Arm NN)。 相较于独立CPU、GPU与加速器，Project Trillium平台效能更远远超越传统DSP的可编程逻辑。

　　Arm副总裁、院士暨机器学习事业群总经理Jem Davies(图3)指出，边缘运算发展潜力十分庞大，目前市面上的确有许多独立的解决方案，像是ASIC加速器、CPU/GPU等。 终端业者当然可以选择自己想要的方案，不过缺点在于须花费时间自行进行硬件与软件(TensorFlow、Caffe)的整合。

　　图3 Arm副总裁、院士暨机器学习事业群总经理Jem Davies认为，Project Trillium可望为终端装置打造完整的机器学习生态系。

　　Davies说明，Project Trillium的优势在于，是以平台的架构呈现，硬件方面不仅有ML Processor和Objects Processor可供选择，同时也能透过Arm NN软件， 协助用户简化TensorFlow、Caffe与Android NN等神经网络框架和Arm Cortex CPU、Arm Mali GPU与机器学习处理器之间的链接整合。

　　Davies进一步指出，软件整合是发展机器学习其中一个关键要素，许多加速器业者或许有办法提供相关硬件处理器(CPU、GPU)，但却少有资源可以提供一个完善的平台架构，协助客户进行软硬件整合或是提升ML模型运算， 而Project Trillium包含全新的Arm IP处理器及神经网络软件，从硬件和软件面都能满足现今市场需求，而这种方式也有助于Arm建构完善的边缘运算生态系。

　　另外，Davies也观察到，MCU对机器学习的需求也十分强劲。 他透露，在Project Trillium上线，Arm NN软件开发工具包开放用户下载的第一天，就有超过5,000名用户开始使用CMSIS NN，尝试以Cortex-M执行机器学习算法。

　　Davies说，这个结果其实出乎Arm的预料，也显示MCU用户群对机器学习的需求跟兴趣，是不容忽视的。 这也促使Arm决定在未来推出的新版Cortex-M核心中，进一步强化这类核心执行ML算法的效率。

　　CMSIS NN是Arm神经网络软件开发工具包Arm NN SDK下的一个运算函式库(Compute Library)，可以提升Cortex-M执行机器学习算法的效率。 即便是现有的Cortex-M核心，在CMSIS NN的帮助下，也可以执行一些很简单的机器学习推论，例如判读传感器输出数据所代表的意义。 当然，由于MCU的运算效能跟内存空间都不是很充裕，因此不可能执行非常复杂机器学习推论，但如果是对单一传感器节点输出的数据做简单判读，还是有机会实现的。

　　Davies指出，MCU如果无法支持某些基本的ML算法，AI应用无所不在的未来是难以实现的。 目前透过云端数据中心提供的人工智能应用服务，其实有很明显的应用局限，只有把AI不断往边缘推进，才能让AI应用更加普及。 而为了让MCU能更有效率地执行ML算法，在Arm未来的产品发展路线图里面，Cortex-M执行ML的效率将会进一步提升。

　　边缘运算走入自动驾驶 高效能处理器不可或缺

　　另一方面，汽车产业未来也将是边缘运算的重点应用领域之一。 根据Arm预测，至2020年平均一台汽车中将会嵌入多达200多个传感器，并经由100多个发动机控制器(ECU)或微控制器(MCU)处理，而如何快速处理如此庞大的数据、实时做出回应并同时维持系统的稳定性与安全性， 打造符合用户需求的自动驾驶车，将成为未来汽车电子市场的一大挑战。

　　对此，Arm副总裁暨嵌入式及车用事业部总经理John Ronco(图4)指出，边缘运算兴起，使得终端装置不用再回传大量数据到云端处理，但这也代表一般的CPU或机器学习芯片需要更高的处理效能，而这也是Arm推出Project Trillium和Cortex-A76的原因，而这些产品也相当适合放在汽车电子组件之中。

　　图4 Arm副总裁暨嵌入式及车用事业部总经理John Ronco表示，CPU、GPU等处理器须具备更高效能才可因应自动驾驶安全需求。

　　此外，为实现自动驾驶，一辆汽车上除了雷达、光达外，往往也会搭载视觉传感器，也因此需要更高的GPU因应庞大的影像运算。

　　Ronco表示，自动驾驶的视觉运算需求，和一般IP网络摄影机差别在于，IP网络摄影机大多是单一的镜头，且不常移动，通常是安置在屋内/外某个角落监看。 但对汽车而言，会须要搭载数个摄影镜头，侦测路况和环境，所接收的影像信息十分庞大，且由于汽车一直在移动，周遭景物也会跟着不停变化，这会使得运算更加复杂，因此便需要完善的解决方案。

　　Ronco透露，像是Project Trillium内的对象侦测处理器主要是用于IP网络摄影机，而要满足汽车视觉运算需求，则是须靠如Mali-G76这类的高效GPU，具备更高的运算效能，才能因应汽车行驶时快速的环境变化， 避免事故发生。

　　总而言之，AI时代为各项应用领域带来新商机，而边缘运算也势将会走入汽车产业当中，但若要将边缘运算建构于汽车中，必须嵌入更高阶的技术才能达到更优异的性能表现，使汽车能够更智能、安全、有效率。

　　带动储存需求 WDC具一条龙生产优势

　　边缘运算兴起，不仅促使处理器效能须跟着增加，就连储存需求也跟着攀升，储存业者因而加速产品布局脚步。 Western Digital嵌入式应用解决方案事业部副总裁Christopher Bergey(图5)指出，边缘运算、机器学习等技术，皆让储存和运算变得相当复杂。

　　图5 Western Digital嵌入式应用解决方案事业部副总裁Christopher Bergey表示，因应边缘运算市场，该公司一条龙的生产模式为市场竞争优势。

　　Bergey进一步说明，边缘运算会随着不同的应用情境，对储存产品有不同要求，像是在汽车上特别重视温度、可靠性，在近年来又添加了成本和稳定供货5年的考虑因素;另外在行动装置应用上，以智能手机为例， 像是现在消费者对拍照越来越要求，照片的画素提高，也连带使得手机储存容量须跟着变大，边缘储存的需求将跟着变大，因此相关的嵌入式闪存(EFD)产品性能也随之提升。

　　因应此一趋势，像是Western Digital便推出新款iNAND产品系列--iNAND8521/iNAND7550，采用该公司64层3D NAND技术以及先进的UFS与e.MMC接口，提供较佳的数据效能与庞大的储存容量。 用于智能型手机与轻薄运算装置时，这两款产品能加速实现以数据为中心的各式应用，包括扩增实境(AR)、高解析视讯的撷取、社群媒体体验，以及近期崛起的AI与物联网边缘体验。

　　Bergey透露，未来行动装置的发展趋势无庸置疑会朝更高性能迈进，因为5G世代到来后，传输数据越来越快，创新应用会愈来愈多，加上AI兴起，两者若相结合后，对工作负载的要求也会随之提升，储存容量势将会因而大增。 该公司也会持续跟手机业者密切合作，好针对需求提供合适的产品。

　　Bergey也指出，因应边缘运算发展，该公司其实具备很好的战略优势。 原因在于，WDC具备完整的产品线(从低阶产品到高性能产品)，另外，WDC是采用一条龙的生产策略，从晶圆、控制器、韧体和软件等，都是自行负责，因此可以快速的针对市场变化推出产品，或是满足设备商客制化需求， 这是WDC在竞争激烈的边缘运算市场中所拥有的优势。

　　NXP携手合作伙伴 加速开发安全边缘方案

　　至于NXP，则是从安全着手，携手生态系合作伙伴，如新汉、IMAGO、智邦科技、神准科技等，共同投入边缘运算安全基础架构的部署工作，支持在边缘进行连接的新兴AI和机器学习，以及部署于云端的安全边缘处理。

　　协力合作的系统供货商将以NXP的Layerscape与i.MX应用处理器系列为基础，进行产品开发，以符合需要本机处理能力与云端联机功能的各种应用上。 开发出的平台提供运算能力、联机功能及储存容量之间的完善平衡，适合同时在企业及工业环境运作。

　　透过NXP的EdgeScale技术及Docker与Kubernetes的开放原始码软件，可在常见云端架构上执行各种边缘应用，包括Amazon Web Services(AWS)、Greengrass、Google Cloud IoT、微软Azure IoT、阿里巴巴及私有云端架构。

　　NXP指出，EdgeScale是包含装置和云端服务的套件，透过该产品可以简化安全运算资源在网络边缘的布建;而NXP将会与这些伙伴共同合作，为物联网与企业内部部署(On-Premises)的运算平台提供具扩展性、安全性， 以及部署方便性，以实现安全部署与管理。

　　恩智浦数字网络事业部资深副总裁暨总经理Tareq Bustami表示，建立安全的边缘解决方案对于物联网及工业4.0的成功发展极为重要，因此，该公司致力于与众多设备制造商合作，提供容易使用且支持云端链接的安全边缘运算解决方案。 透过合作，该公司将协助推出更智能、更多功能的边缘解决方案，加入可进行大规模部署及管理的强大安全功能。

　　综上所述，可看出不论是IP商、储存业者或是芯片供货商，皆积极布局边缘运算市场，各自开发开放平台与硬件架构，期能让AI走入各种终端装置中，并且建构完善的生态圈。