成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
0
手机里的芯片到底有什么用?为什么大家都想要「更强」
2022 年 4 月 22 日
少数派
老麦接到一个任务,要跟大家科普一下,手机芯片究竟如何决定智能手机的性能和体验?我研习了一堆资料之后发现,如果我直接科普这些技术名词,解析调制解调器、GPU、AI、ISP、CPU 的原理和作用,估计大家早就看不下去了。突然想起了我的老本行就是医学,对人体构造更加了解,那我就用人体结构类比的方式,来给大家讲讲芯片和智能手机之间的关系。
▍
芯片就是大脑 + 神经
可能在大部分人的认知当中,芯片一般代表的是 CPU。
因为传统的 PC 时代,电脑机箱有足够大的空间,每个模块都是独立分开的,CPU、显卡、网卡各自安好。但到了智能手机时代,一切功能都要被压缩到方寸之间,芯片也就发生了巨大变化,从单一处理器变成了片上系统 SoC(System on Chip)。
以骁龙 8 为例,旗舰移动 SoC 上除了有用于通用计算的 CPU,负责通用编程的 GPU 以外,也包含一些专用编程单元,比如 DSP、AI 引擎等等,还包括了更多信号处理单元,比如 ISP 图像信号处理器负责影像处理,VPU 视频处理单元、DPU 显示处理单元、APU 音频处理单元。不仅如此,SoC 模块还在不断扩展延伸,容纳网络通信、充电管理等更多功能的运算和管理。这种高度集成化,也带来了更快的数据流动和协调管理。
如果将手机比喻成一个人的话,那芯片就是大脑和神经系统,负责收集和协调各个感应器的信息,整合运算,分析和响应。一个人是否聪明干练,也越来越依靠整个 SoC 的能力提升。否则,就算用上再多的摄像头和更大尺寸的传感器,都没有实际意义。智能手机也早就过了堆外围硬件的时代,而是更侧重芯片整合和算法优化。这里不得不承认,在安卓手机阵营中,高通一直主导了高端 SoC 的发展,接下来,我们继续用拟人类比的方式,看看骁龙 8 会带来哪些惊喜。
▍
给你一双更强的眼睛
有句老话说得好,眼睛是心灵的窗户,心灵够不够强大,首先看眼睛够不够明朗。所以,今天的旗舰手机都在拼影像能力,因为它除了拍照记录,摄像头也是重要的信息入口,扫码扫描,甚至参与生物信息的识别,间接决定你的使用体验。
为了方便大家理解,我们继续以人眼的原理,来科普一下手机成像的过程。外部镜头等于眼睛的角膜,CMOS 等于视网膜,ISP 图像信号处理器就是大脑里负责视觉信息处理的大脑皮层,AI 算法芯片就是处理细节的中区皮层。他们之间的复杂协作,完成了我们看到的照片和视频,那如何提升“眼睛”的底层能力呢?需要从以下几个方面入手。
增加视神经,让看到的信息更多
骁龙 8 将 ISP 的数据捕获能力,从 14-bit 提升到 18-bit,可以理解为视网膜增强。目前每秒成像 32 亿像素,实时处理 90 亿像素,单个摄像头捕捉 1.08 亿像素的画面。这堆参数是啥概念呢?回到你的拍照体验上,就是拍照速度更快,捕捉运动物体更清晰,按下一次快门,就可以得到 30 张图片信息,为后期影像处理,留下足够的空间。
有了更多的信息量,就需要更多的算力,骁龙 8 系移动平台从之前的双 ISP,提升到骁龙 8 支持的三 ISP 。有了 18-Bit 三 ISP 协同并发的能力基础,搭载骁龙 8 的手机就可以做出多主摄的融合摄影,也就是说你拍照的时候,不是只根据用户需求去切换主摄或广角镜头,而是自动调用不同镜头的优势,同时拍摄,同时优化,来提升照片的清晰度,画面细节,修复潜在的畸变、噪点等各种瑕疵。比如上图采用荣耀手机拍摄的超广角照片,尽管室内光线非常不理想,照片也很清晰细腻。
提升算力,让分析合成更快
此外三 ISP 的实现,还可以支持超级多帧引擎,令手机拍摄合成照片的数量,从 6 张提升到 30 张,相当于一个场景画面里,原来给你看 6 遍,现在看 30 遍,那你脑子里的信息,肯定更加丰富和准确。特别是人脸细节方面,可以更好地识别和优化,提升人像的自然美感。这不同于简单的美颜,而是深度的学习和理解。
这张照片是五倍变焦之后,抓拍的猫咪特写,并且是室内光线也不充足,背景混乱的情况下,相机 AI 不仅能识别出猫咪,并进行针对性的优化,更加清楚地展现了毛发细节,最大程度的保证了成片效果。
▍
算力是智商,算法就是情商
智商主要反映人的观察能力和计算能力,就好比 ISP 的算力。情商主要反映理解、运用、控制和调节的能力,这就恰似 AI 芯片的理解与运用。
这个能力的应用也非常普遍,最直接的就是背景虚化的效果,因为手机的空间极其有限,因此无法做到传统相机的光学虚化,但我们又希望手机摄影能获得更好的空间层次,这时就能凸显集成在手机 SoC 上专用的 AI 硬件单元的强大作用。特别是视频拍摄时,更加考验实时的运算能力。骁龙 8 的第 7 代高通 AI 引擎,由 Hexagon 处理器、张量加速器、DSP、自有内存构成,相当于另外一个辅助大脑,为用户带来更加智慧的影像拍摄体验。
为此,我也专门带着荣耀 Magic 4 去拍摄了夜景,AI 引擎的能力呈现在复杂夜景、暗光、远距离拍摄等各种情况下,最终实现的是用户能随手出片,保证清晰质量的同时,色彩准确率大幅提升。
▍
不仅更聪明,还要更忠诚
通过以上解析,大家能可以感受到骁龙 8 的智商和情商水平,但作为一个为我们服务的智能手机,每天陪伴我们超过 8 小时,掌握着我们大量重要的个人隐私数据,安全变成了新课题。
内部芯片层的数据加密
大家一直以为手机安全只在于软件系统,但骁龙 8 已将安全特性引入芯片硬件系统。比如在 Android 操作系统之下引入了深度保护层 – 高通 Hypervisor,它的任务就是将各个应用和服务的数据进行隔离保护,避免 A 应用的数据被 B 应用恶意调取。类似硬件的沙盒机制。
今年骁龙在 Hypervisor 之下,又增加了一层信任管理引擎(Trust Management Engine)。这是一个能够确保在骁龙平台内妥善隔离最敏感数据和应用的硬件信任根(Root-of-Trust)。最新发布的荣耀 Magic4 系列就是深度利用了骁龙的安全特性,成为首个支持双 TEE 系统的智能手机,在芯片层和系统层,对个人生物和交易信息,实现绝对的本地存储,进行交叉认证和保护。
外部传感器的安全创新
有了底层安全还不够,日常还有很多泄漏信息的场景,比如通话漏音。
手机听筒是扬声器,开放的声波就有可能被窃听和记录,在荣耀 Magic 4 上,通过对扬声器的调整,让双单元协同发声,荣耀和高通联合调试,通过低时延实现双单元协同发声,实现了隐私通话功能。以上这两项能力,对于商务精英人士都非常重要,也是智能手机未来必须具备的能力。
▍
重新认知芯片价值
从原来的性能跑分,到今天的 SoC 片上系统,虽然大部分用户购买手机的时候,已经不怎么关注参数了,因为基础算力都是足够的,但芯片正在变得更加重要,当你真正长期使用下来,会发现体验上的差别,而随着智能手机的渗透延展,任何一个体验细节,都可能带来巨大反差,如果说手机是人类肢体的延伸,那芯片就决定着你的扩展能力有多强。
高通从手机通信标准起步,从手机通信芯片切入,在智能手机时代成为旗舰手机芯片的不二选择。同时,它正在底层驱动着我们数字生活的改变,而这些改变不止于智能手机,还包括你的智能汽车,你进入虚拟世界的入口,甚至于未来的整个人工智能时代。
登录查看更多
点赞并收藏
0
暂时没有读者
0
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
芯片(集成电路)
关注
154
半导体元件产品的统称。是集成电路(IC, integrated circuit)的载体,由晶圆分割而成。
「AI芯片/GPU/NPU/DSP专用处理器」技术特征比较分析最新2022综述论文
专知会员服务
62+阅读 · 2022年3月6日
智能世界2030八大展望
专知会员服务
50+阅读 · 2021年9月27日
脑机接口技术在医疗健康领域应用白皮书(2021)附下载
专知会员服务
50+阅读 · 2021年7月18日
UCL最新「机器学习隐私」综述论文,概述隐私挑战
专知会员服务
36+阅读 · 2021年7月11日
Hinton,Lecun和Bengio三巨头联手再发万字长文:深度学习的昨天、今天和明天
专知会员服务
63+阅读 · 2021年7月2日
【微软】人工智能系统课程
专知会员服务
89+阅读 · 2020年12月31日
读博意味着什么?如何趟过这个坑,这几页slides给你指南下
专知会员服务
28+阅读 · 2020年11月26日
【MIT-ICLR2020】神经网络能推断出什么? What Can Neural Networks Reason About?
专知会员服务
43+阅读 · 2020年2月21日
麻省理工学院MIT-ICLR2020《神经网络能推断出什么?》
专知会员服务
50+阅读 · 2020年2月19日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
27+阅读 · 2020年1月16日
站在用户的角度,聊聊「旗舰芯片」给我们带来的体验改变
少数派
0+阅读 · 2022年5月23日
为什么旗舰机都在用骁龙 8?
ZEALER订阅号
0+阅读 · 2022年4月22日
iPhone 13 Pro 的镜头很好,但我还是想吐槽它……
少数派
0+阅读 · 2022年4月15日
骁龙 8 和天玑 9000 你怎么选?
ZEALER订阅号
0+阅读 · 2022年2月24日
iPhone 13 系列解读|iPhone 13 的刘海,为什么缩小了?
ZEALER订阅号
1+阅读 · 2022年1月26日
小米12系列发布,自研芯片加持,18分钟从零充满电
机器之心
0+阅读 · 2021年12月29日
手机装不下骁龙8了
量子位
0+阅读 · 2021年12月4日
近 1999 元一颗的芯片,能让安卓手机硬刚 iPhone 13?
ZEALER订阅号
0+阅读 · 2021年11月19日
联想自研芯片???
量子位
0+阅读 · 2021年11月19日
我们在说的,到底是哪个 HDR?
威锋网
0+阅读 · 2021年10月15日
3-D生物芯片中癌细胞侵袭组织的集体行为和动力学研究
国家自然科学基金
0+阅读 · 2014年12月31日
用于GEM探测器的高集成度专用集成电路研制
国家自然科学基金
2+阅读 · 2013年12月31日
细胞分选系统中的细胞-材料双向界面研究
国家自然科学基金
0+阅读 · 2013年12月31日
基于家系的麻风致病基因的鉴定和功能研究
国家自然科学基金
0+阅读 · 2012年12月31日
含大管通道的新型微流控芯片的开发及其在蛋白和细胞研究中的应用
国家自然科学基金
0+阅读 · 2012年12月31日
便携式人机交互系统中关键问题研究
国家自然科学基金
2+阅读 · 2012年12月31日
植入式无线光接口海量神经信号传输芯片与系统研究
国家自然科学基金
0+阅读 · 2011年12月31日
纳米杂化双光子吸收无机功能材料的构筑与机理研究
国家自然科学基金
0+阅读 · 2011年12月31日
手机MIMO天线研究
国家自然科学基金
0+阅读 · 2011年12月31日
针刺过程中经脉循行线上能量代谢的变化及其与内脏机能调节的关系
国家自然科学基金
0+阅读 · 2009年12月31日
Multi-task Self-distillation for Graph-based Semi-Supervised Learning
Arxiv
0+阅读 · 2022年6月9日
Prompt Distribution Learning
Arxiv
14+阅读 · 2022年5月6日
Hierarchical Graph Capsule Network
Arxiv
20+阅读 · 2020年12月16日
InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions
Arxiv
12+阅读 · 2019年11月1日
K-BERT: Enabling Language Representation with Knowledge Graph
Arxiv
19+阅读 · 2019年9月17日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommendation
Arxiv
11+阅读 · 2019年6月13日
Graph Convolutional Networks for Text Classification
Arxiv
11+阅读 · 2018年10月17日
Hierarchical Graph Representation Learning with Differentiable Pooling
Arxiv
13+阅读 · 2018年6月26日
Audio Adversarial Examples: Targeted Attacks on Speech-to-Text
Arxiv
18+阅读 · 2018年1月5日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
芯片(集成电路)
单元
中央处理器 (CPU)
系统
智能手机
视频
相关VIP内容
「AI芯片/GPU/NPU/DSP专用处理器」技术特征比较分析最新2022综述论文
专知会员服务
62+阅读 · 2022年3月6日
智能世界2030八大展望
专知会员服务
50+阅读 · 2021年9月27日
脑机接口技术在医疗健康领域应用白皮书(2021)附下载
专知会员服务
50+阅读 · 2021年7月18日
UCL最新「机器学习隐私」综述论文,概述隐私挑战
专知会员服务
36+阅读 · 2021年7月11日
Hinton,Lecun和Bengio三巨头联手再发万字长文:深度学习的昨天、今天和明天
专知会员服务
63+阅读 · 2021年7月2日
【微软】人工智能系统课程
专知会员服务
89+阅读 · 2020年12月31日
读博意味着什么?如何趟过这个坑,这几页slides给你指南下
专知会员服务
28+阅读 · 2020年11月26日
【MIT-ICLR2020】神经网络能推断出什么? What Can Neural Networks Reason About?
专知会员服务
43+阅读 · 2020年2月21日
麻省理工学院MIT-ICLR2020《神经网络能推断出什么?》
专知会员服务
50+阅读 · 2020年2月19日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
27+阅读 · 2020年1月16日
热门VIP内容
开通专知VIP会员 享更多权益服务
自主系统与反自主系统:美国优势定位
《人类-人工智能编队的探索性模型: 利用人类数字孪生研究信任发展》最新32页
《利用近端策略优化估计最佳飞行轨迹》最新140页
《通过网络重构进行场景可靠军事路线规划》最新67页
相关资讯
站在用户的角度,聊聊「旗舰芯片」给我们带来的体验改变
少数派
0+阅读 · 2022年5月23日
为什么旗舰机都在用骁龙 8?
ZEALER订阅号
0+阅读 · 2022年4月22日
iPhone 13 Pro 的镜头很好,但我还是想吐槽它……
少数派
0+阅读 · 2022年4月15日
骁龙 8 和天玑 9000 你怎么选?
ZEALER订阅号
0+阅读 · 2022年2月24日
iPhone 13 系列解读|iPhone 13 的刘海,为什么缩小了?
ZEALER订阅号
1+阅读 · 2022年1月26日
小米12系列发布,自研芯片加持,18分钟从零充满电
机器之心
0+阅读 · 2021年12月29日
手机装不下骁龙8了
量子位
0+阅读 · 2021年12月4日
近 1999 元一颗的芯片,能让安卓手机硬刚 iPhone 13?
ZEALER订阅号
0+阅读 · 2021年11月19日
联想自研芯片???
量子位
0+阅读 · 2021年11月19日
我们在说的,到底是哪个 HDR?
威锋网
0+阅读 · 2021年10月15日
相关基金
3-D生物芯片中癌细胞侵袭组织的集体行为和动力学研究
国家自然科学基金
0+阅读 · 2014年12月31日
用于GEM探测器的高集成度专用集成电路研制
国家自然科学基金
2+阅读 · 2013年12月31日
细胞分选系统中的细胞-材料双向界面研究
国家自然科学基金
0+阅读 · 2013年12月31日
基于家系的麻风致病基因的鉴定和功能研究
国家自然科学基金
0+阅读 · 2012年12月31日
含大管通道的新型微流控芯片的开发及其在蛋白和细胞研究中的应用
国家自然科学基金
0+阅读 · 2012年12月31日
便携式人机交互系统中关键问题研究
国家自然科学基金
2+阅读 · 2012年12月31日
植入式无线光接口海量神经信号传输芯片与系统研究
国家自然科学基金
0+阅读 · 2011年12月31日
纳米杂化双光子吸收无机功能材料的构筑与机理研究
国家自然科学基金
0+阅读 · 2011年12月31日
手机MIMO天线研究
国家自然科学基金
0+阅读 · 2011年12月31日
针刺过程中经脉循行线上能量代谢的变化及其与内脏机能调节的关系
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Multi-task Self-distillation for Graph-based Semi-Supervised Learning
Arxiv
0+阅读 · 2022年6月9日
Prompt Distribution Learning
Arxiv
14+阅读 · 2022年5月6日
Hierarchical Graph Capsule Network
Arxiv
20+阅读 · 2020年12月16日
InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions
Arxiv
12+阅读 · 2019年11月1日
K-BERT: Enabling Language Representation with Knowledge Graph
Arxiv
19+阅读 · 2019年9月17日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommendation
Arxiv
11+阅读 · 2019年6月13日
Graph Convolutional Networks for Text Classification
Arxiv
11+阅读 · 2018年10月17日
Hierarchical Graph Representation Learning with Differentiable Pooling
Arxiv
13+阅读 · 2018年6月26日
Audio Adversarial Examples: Targeted Attacks on Speech-to-Text
Arxiv
18+阅读 · 2018年1月5日
大家都在搜
palantir
MoE
强化学习方法
自主系统
自主武器
壁画
智能推荐
RE-NET
无人艇
EBSD晶体学织构基础及数据处理
Top
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top