看看今年芯片行业的热度,OPPO 又添了一把火。
OPPO 出自研芯片了,还是一款手机 AI 芯片,采用台积电 6nm 制程。
12 月 14 日下午,在 OPPO 未来科技大会上,OPPO 发布了旗下首款自研芯片马里亚纳 MariSilicon X,这是 OPPO 第一款自主设计、自主研发的影像专用 NPU 芯片。
「马里亚纳 X 是 OPPO 未来十年影像的开篇之作,它标志着 OPPO 在计算影像领域首次实现了全链路垂直整合,」OPPO 芯片产品高级总监姜波在发布会上说道。「未来,马里亚纳 X 将和通用平台一起构成了手机核心运算的左右大脑,开启一机双芯时代。」
作为首款专为影像而生的 NPU 芯片,马里亚纳 X 基于面向未来 AI 时代的 DSA 新黄金架构理念。在 2019 年,图灵奖获得者 John Hennessy 和 David Patterson 发表《计算机架构的新黄金时代》一文,提出当摩尔定律不再适用之后,一种更加以硬件为中心的设计思路——针对特定问题和领域的架构 DSA 将会展现实力。
这是一种特定领域的可编程处理器,它是图灵完备的,但针对特定类别的应用进行了定制。
计算机体系结构巨头们的预言成为了业界的重要趋势,在国内芯片领域火热的最近,已有创业公司把 DSA 形式的 AI 加速芯片放进了服务器。OPPO 提出的马里亚纳 MariSilicon X 则面向手机端的计算影像,其集成了完全自研的 MariNeuro AI 计算单元,提供超高算力,业界领先的能效比,面向 OPPO 自研 AI 算法,实现了最高效的计算加速和功耗优化。
OPPO 表示,该芯片有四大技术突破:强大的实时 AI 计算能效,领先行业的 Ultra HDR 能力,无损的实时 RAW 计算,以及最大化传感器能力的 RGBW Pro。
首先是 OPPO 完全自研的 AI 计算单元 MariNeuro,它是一款以场景定义的芯片计算架构,能够实现很高的 AI 能效。相对于通用性更强的 NPU,OPPO 的 DSA 专注于解决芯片的影像能力,因此可以达到 18TOPS(INT8)算力。
我们知道,几个月前推出的苹果 iPhone 13 Pro 上的 A15 芯片有 15.8TOPS,这意味着马里亚纳 X 已经实现了业界顶尖的水准。
使用 DSA 形式也意味着马里亚纳 X 同时拥有足够高的效率,实测 11.6TOPS/W,这是一个能效的里程碑。
这些数字意味着什么?OPPO 有一套 AI 降噪算法用于夜景拍照等任务,在自家旗舰手机 Find X3 Pro 上用骁龙 888 处理 4K 图像的速度只有 2 帧每秒,功耗 1.7W。有了马里亚纳 X,同样的算法处理速度变成 40 帧每秒,功耗只有 797mW。功耗降低一半,性能提升了 20 倍,原来处理照片的 AI 算法现在可以直接用来处理视频了。
领先的能效不仅归功于架构设计,也依赖于内存速率。AI 运算经常会遭遇内存墙,OPPO 为 AI 计算单元提供了专用的片上内存子系统,最高达到万亿比特每秒的吞吐量,是目前手机内存最高吞吐量的十倍以上。在芯片内部,每一个独立 IP 还有最高 8.5GB/s 的专用 DDR 带宽。
架构之外,OPPO 在芯片中集成了全自研的 MariLumi 影像处理单元,可以处理 20bit 图像,让手机摄影的 HDR 亮度比例
达到 100 万比 1。
从摄像头接收光线到最终展示在屏幕上,手机影像是完整链路共同出力的结果,OPPO 认为计算影像的核心在于如何打通协同各个处理模块。在以往,传感器、通用平台和影像算法发展速度并不同步。在马里亚纳 X 上,OPPO 在业内第一次实现了影像链路的垂直整合。
OPPO 举了几个整合的例子:影像处理需要经过 RAW 域——RGB 域——YUV 域最后投射至屏幕,原始数据每经过一个域就会损失一定的数据。计算摄影通常会处理 YUV 域内容,因为所需算力更小。在马里亚纳 X 的加持下,AI 算法实时进行无损的 RAW 域处理,让计算处理前置,提升了画面细节。
而在双通路设计下,马里亚纳 X 首次实现了对 RGB 和 W 像素的分隔处理,最大化利用每一种像素特性,释放出定制化 RGBW 阵列的全部潜力,其 RGBW Pro 模式带来了 8.6dB 的信噪比提升,以及 1.7 倍的解析力提升,在传感器规格没有变化的前提下实现了影像效果增强。
在 OPPO 看来,现在计算摄影的新标准是 4K 图像加无损 20bit RAW 计算,加上 AI 带来的纯净画面,和 Ultra HDR 极致动态范围带来的丰富层次感。马里亚纳 X 将会让安卓手机的 4K 视频拍摄,第一次拥有 AI 能力的加持。
OPPO 的自研芯片计划迄今为止已有三年,最早在 2020 年 2 月被曝光,当时内部代号是「马里亚纳计划」。OPPO 创始人兼首席执行官陈明永表示,未来该公司还会持续投入大量资源,用几千人团队的规模继续自研芯片的道路。
最后的问题就是哪款手机会搭载马里亚纳 X 了。OPPO 表示,在 2022 年一季度,该自研芯片将随下一代旗舰机型 Find X 系列首发。
苏黎世联邦理工DS3Lab:构建以数据为中心的机器学习系统
苏黎世联邦理工学院(ETH Zurich) DS3Lab实验室由助理教授张策以及16名博士生和博士后组成,主要致力于两大研究方向,Ease.ML项目:研究如何设计、管理、加速以数据为中心的机器学习开发、运行和运维流程,ZipML项目:面向新的软硬件环境设计实现高效可扩展的机器学习系统。
12月15日-12月22日
,来自苏黎世联邦理工学院DS3Lab实验室的11位嘉宾将带来6期分享:构建以数据为中心的机器学习系统,详情如下:
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com