优化芯片架构+5G“双拳出击”，深度解析高通手机芯片战略

参加 Meet 35 大会，请点击↑

在2014年的时候，手机芯片市场往往会强调功能集成化、性能电脑化、通信多模化、平台一致化等特点，这是由于当时手机芯片都要满足一定的标准，即面向第四代移动通信技术标准（4G）LTE的集成通信基带处理功能以及移动计算处理能力一体化标准。

在随后的两三年里，世界掀起了一股人工智能的热浪。各行各业纷纷拥抱了人工智能，智能手机作为移动终端的代表行业，自然也入了局。

到了2018年，也就是现如今，人工智能芯片早已不是什么新鲜事物，而面对产业即将到来的革命性的转折点，需要关键时刻的定音一锤。

不可否认的是，手机芯片將在其中扮演重要角色，而以目前全球手机芯片领域发展来看，高通的名字肯定是不陌生的，其手机芯片业务分布全球，中国几家顶尖的手机OEM大厂，如小米、OPPO、Vivo等，均在其旗舰手机设计方案中采用了高通的芯片。

 

前瞻：AI发展需迈过能耗一关

高通认为当前的AI发展面临两个重要挑战：1.AI创造的经济价值和效益必须超过运行服务成本；2. 突破移动环境中的散热限制。

第一个挑战很好理解，说白了就是要保证产出高于投入，维持利润空间。以智能安防摄像头为例，要保证其能够24小时不间断地工作，同时还要让监测和识别都要运行深度神经网络以起到人工智能安防的作用。但是开发深度神经网络需要很大的研发投入，同时维持24小时运行目前需要很高的硬件成本，长时间运作会增加硬件损耗，同时中低端电子元件根本无法支撑24小时连轴转的业务，因此是硬件成本高。若想拥有利润，必须降低这两者的投入和成本，或者创造更大的商业价值。第二个挑战则是应对在移动环境中支持AI应用所带来的负载，包括完成非常密集的计算分析任务、处理复杂的并发性任务，以及兼顾实时和始终开启。AI应用需要大量的计算支持，如果在功耗方面不能很好地优化，那么手机启用AI应用就可能因为功耗过大而导致发热。

高通技术副总裁韦灵思对此的观点是，未来AI算法需要更注重于能耗，即每瓦时电力能提供的智能。其实高通早在十几年前就对脉冲神经网络展开了研究工作，这是一种源于人脑的低功耗计算方法。而到了今天，高通同样也在利用类似于大脑运作的型态来进行深度学习方面的设计。

（来源：麻省理工科技评论）

人脑其实是一个充满噪声的系统，它知道如何处理噪音。由此得到启发，高通正研究如何利用噪音来降低神经网络计算的功耗，这种方法也被称为贝叶斯深度学习。对于高通来说，这是他们进一步发展AI和神经网络技术的重要基础性框架。通过贝叶斯深度学习，神经网络可以压缩得更小，使其可以更高效地运行在骁龙平台上。高通还通过使用这一框架，量化需要进行的计算处理的比特位。

而利用贝叶斯框架进行的压缩与量化，也可以用来解决其他的问题。如果神经网络只进行过面向某一场景的训练，但是将其放入新的，并且与其之前训练场景相似的地方时，其依然能工作。例如一台自动驾驶汽车只接受过某一城市的相关训练，现在这台汽车来到另一个新的城市，就能用贝叶斯深度学习进行泛化，从而降低深度学习的功耗。韦灵思说：“高通的思路是，能够对数据做出解释的最小、最简单的模型即为最适合的模型，这就是奥卡姆剃刀。”

在现阶段，信道裁剪和SVD也是较为流行的压缩手段。在压缩比较小时，这两种压缩手段和贝叶斯剪裁并没有太大区别。但是随着压缩比越来越大，贝叶斯深度学习相比于其他方法的性能优势就越明显，其在移动平台上的运行也更为高效，这正是高通选择它的原因。

（来源：麻省理工科技评论）

除了算法的改进，高通也在提升AI硬件的设计。在高通的异构计算系统中包括了三个组件，分别是CPU、GPU和DSP。十余年来，高通持续从多个维度上优化这三个组件的设计，其中在缓存结构（caching structure）上不断优化内存工作方式以及低功耗的精确度是最具代表性的。在三个组件的计算管理上，高通也进行了优化，比如在面对一个计算任务时，可以选择让GPU、CPU或是DSP单独完成，也能让所有组件共同完成。展望未来，随着技术的发展，尤其是5G和万物互联技术的到来，高通会把计算放在由终端及云端组成的整个网络中运行，进一步提升位于网络边缘的AI系统，网络边缘就是指非云服务器和终端的系统，比如NPU。

从更具体的方向上，高通当前把AI研究的重点放到了三个方面：优化计算架构、内存层级及使用层面。在计算架构方面，高通专注于优化指令类型和并行性，以及优化运行计算所需的精确度，利用贝叶斯深度学习的研究成果，能够实现更好的运行精确度。在内存层级，高通需要优化内存层级以降低数据移动的功耗。这是因为从DRAM迁移数据或将数据迁移至DRAM的功耗，是ALU运算（ALU Operation）功耗的200倍。在使用层面，高通会优化硬件、软件和编译器，从而减少计算的冗余并最大化计算吞吐量和内存带宽。“比如说，我们可以减少运算对象（operand）的尺寸和数量，同时利用计算稀疏性以确保将资源应用到必要的计算上。” 韦灵思说到。

 

用异构计算优化解题思路

光说不练假把式，高通于2017年年底发布了第三代AI移动平台骁龙845。这款处理器支持Qualcomm人工智能引擎AI Engine（AIE），并采用了全新的Qualcomm Hexagon 685 Vector DSP架构，再加上其对GPU以及CPU的优化，终端侧神经网络运行速度比前代提高了三倍。

在本产品上，高通强调了人工智能从云端到终端的迁移，使得一些本应该运行在云端的计算任务跑到了终端上，由此提高了运行速度、连接能力和安全性。

（来源：高通官网）

所谓AIE，简单点说就是能够实现云端之外的机器学习任务。大多数移动机器学习任务（如图像或语音识别）目前都需要用户把数据从客户端发送到服务器端，然后再将计算结果返回到手机，AIE相当于允许手机直接运行任务，减轻了从传输到后端运算之间的资源消耗量。因此，客户端响应速度更快、隐私保护增强、可靠性提升。

通常，开发者会以32位浮点数（高精度）在云端训练神经网络模型。虽然也可以在设备的CPU或GPU上运行类似训练，但是成本相对高昂，也要求高性能的设备。骁龙845的GPU对16位浮点数精度运算进行了优化，CPU也对8位定点数精度进行了优化。此外，作为DSP子系统中的向量加速引擎，HVX（HVX 向量扩展）可以用8位向量计算来加速神经网络的执行。对于开发者而言，这种优化能够让开发者提供更灵活的设计思路，将AI的计算负载根据实际情况分配到CPU、GPU和向量处理器上。

在神经网络框架方面，骁龙845进一步扩展支持更多框架，例如Google的TensorFlow、TensorFlow Lite和Facebook的Caffe2。同时高通在骁龙神经处理引擎（SNPE）SDK中添加了对ONNX（开放式神经网络交换）交换格式的支持，这样一来，开发者就能在他们的框架中开发神经网络，而无需担心底层硬件支持哪种网络的问题。

当然，手机芯片的设计思路也要符合手机OEM厂商。骁龙845支持OPPO和Vivo等公司的人脸检测、背景虚化和地标检测等诸多人工智能应用。一些传统的摄像头组件可用基于视觉的神经网络来代替。比如，通常使用固定的CV算法和两个摄像头来实现背景虚化。骁龙845还可以利用与摄像头配对的神经网络，降低拍照延迟并提升成像精确度。

（来源：麻省理工科技评论）

除了手机OEM厂商，高通还跟不少AI软件开发商和云服务商合作，进一步提升手机上的AI使用体验。其合作伙伴除了商汤科技和旷视（Face++）这两家AI独角兽外，还有大家熟悉的腾讯QQ、网易有道、百度等。手机有望成为未来最广泛的人工智能平台，各大企业自然伸出橄榄枝，携手抢占AI先机。

除了骁龙845，高通还有多款中高端骁龙平台同样支持人工智能引擎AIE，包括800系列的前两代旗舰骁龙835和骁龙820/821，全新700系列的骁龙710，以及属于600系列的骁龙660和670。其中，作为骁龙700系列的首款产品，骁龙710的推出尤其引人注意。基于10纳米制程工艺，骁龙710将顶级的AI性能下放到更多智能手机之中。与骁龙660相比，骁龙710在AI相关应用方面的性能提高了两倍。

（来源：高通官网）

骁龙845以及骁龙710可以说是上一个段落的具象化产品，不过这并不是高通在人工智能手机芯片上的最终答卷。对于任何领域的巨头来说，只要这家企业想要引领某一行业的革命，他们仅有在一种可能性才会停止脚步，那就是下一次行业革命。

比起眼睛，人们更喜欢用头脑观测未来

事实上高通在强调人工智能所构建的社会，不仅仅是手机芯片，这也是为什么高通将骁龙系列产品定位为“移动平台”。2021年时，人工智能衍生的商业价值将达3.3万亿美元，这距离今天只有几年的光阴。

然而整个社会要想实现巨大的人工智能理想，就必须要依靠牢固的基础设施，也就是这些比指甲盖还小的芯片。根据统计，在之后的四年里智能手机累计出货量将超过86亿部，意味着移动终端将是构建人工智能平台的重要组成部分。

基于这些，高通在从事人工智能方面研究的同时，也在推进5G的发展。超高速、低时延的5G连接除了可以接入互联网外，还可以与额外的处理器进行连接。当终端进行无线边缘构建计算能力时，移动终端上的边缘网络处理能力与5G之间的结合，将为终端带来巨大的计算力。

（来源：麻省理工科技评论）

高通总裁阿蒙强调：“过去，训练、执行和推理都是在云端处理的。5G时代，训练、执行和推理将也可以在终端侧实现，所有的边缘终端都将具备机器学习能力。这意味着，数据处理将在最靠近数据源的位置处理，对云端计算能力进行补充。这保证了用户的隐私，因为在终端里便可以支持实时的机器学习处理。同时因为在最靠近数据源的位置完成处理，它还将带来可靠性和低时延。终端侧处理还将带来高效性，因为它始终面向移动环境对于外形尺寸、能效、性能等方面的挑战。此外，它也将有助于支持个性化。”

对于人工智能来说，5G是与之相辅相成的事情。这两者的关系就像是球员与教练，在世界杯上，法国队年轻小将们捧起奖杯的一刹那，少不了主教练Didier Deschamps告诫他们的纪律与耐心。

不过这仍然不是人工智能的最终样式，也不是5G的。在更遥远的未来，人工智能还会有更高级的形态，通讯技术在5G之后仍将持续会持续演变进化。值得注意的是，就如同过去从2G、3G、4G的世代技术演进所带动的产业竞争消长一样，其中的关键所在，就在于如何真正理解新一代通讯技术将如何改变世界的意义，应用场景才是根本所在，而在5G时代，人工智能就将在其中扮演激活应用场景与生态发展的重要角色。因此，可以看到包括高通等厂商，其在人工智能领域的布局不但积极，而且更加深化，而其所长期累积的深厚通讯核心技术实力更将成为加速前进的动能。事实上，当发展历史超过60年人工智能遇上即将爆发第5代移动通讯技术5G，这将会是IT （Information Technology)与CT （Communication Technology)的融合变革，也是一次产业全新变革的启动，而这一次，更将是一次改变游戏规则的机会所在。

-End-