达摩院发布2022十大科技趋势：AI for Science催生科研新范式，大模型参数竞赛进入冷静期
极市导读
12月28日，阿里达摩院重磅发布《达摩院 2022 十大科技趋势》，从范式重置、场景变革和未来互联三大维度提出最新十大科技趋势。据悉，这也是达摩院连续第四年发布前沿科技趋势预测。>>加入极市CV技术交流群，走在计算机视觉的最前沿
据介绍，《达摩院 2022 十大科技趋势》采用了“定量发散，定性收敛”的分析方法，整个分析流程分为两部分：
“定量发散”是对科学领域做广泛而全面的定量分析，抽取其中的热点领域并挖掘重点突破的技术；
“定性收敛”是对突破的技术点进行梳理，通过与领域专家充分的论证，找出多个技术点代表的趋势，总结对未来的预判。
达摩院分析了 159 个领域近三年 770 万篇公开论文、8.5 万份专利，挖掘其中热点领域及重点技术突破，深度访谈近 100 位科学家，提出了 2022 年可能照进现实的十大科技趋势，覆盖人工智能、芯片、计算和通信等领域。
具体而言，这十大科技趋势分别是：AI for Science、大小模型协同进化、硅光芯片、绿色能源 AI、柔性感知机器人、高精度医疗导航、全域隐私计算、星地计算、云网端融合、XR 互联网。
达摩院认为，计算机科学改变科研的路径是从下游逐渐走向上游。起初计算机主要用来做实验数据的分析与归纳。后来科学计算改变了科学实验的方式，人工智能结合高性能计算，在实验成本与难度较高的领域开始用计算机进行实验的模拟，验证科学家的假设，加速科研成果的产出，如核能实验的数字反应堆，能够降低实验成本、提高安全性、减少核废料产生。
近年，人工智能被证明能做科学规律发现，不仅在应用科学领域，也能在基础科学领域发挥作用，如 DeepMind 使用人工智能来帮助证明或提出新的数学定理，辅助数学家形成对复杂数学的直觉。
达摩院预测，在未来的三年内，人工智能技术在应用科学中将得到普遍应用，在部分基础科学中开始成为研究工具。
阿里达摩院城市大脑实验室负责人华先胜在接受 InfoQ 采访时表示，用 AI 去助力科研主要基于数据和计算这两点，在数据和算力的基础上形成 AI 能力。
“从本质上来讲，AI for Science 和 AI for Industry 差别不大，AI 也是作为推动领域发展的一个工具。只是这个领域有点不一样，它的门槛比较高，因为是科学家要做的事情，不是一个普通人、一般的技术工作人员可以做的事情。但是从本质上来讲，也是这个领域因为有了数据，可以设计算法去挖掘数据中的’玄机’，去解决这个领域的问题。”
对于从业者而言，AI for Science 需要 AI 专家要去了解科学问题，需要科学家要去了解 AI 的原理。“AI for Industry 的时候，其实是从单点的技术逐渐地走向了平台化，AI for Science 的未来，我想也会逐步地走向平台化。这个时候就是 AI 专家结合某个领域、某个学科，甚至是某个学科的某一类问题和科学家们一起去建造一个科研的平台。这个时候科学家们可能有更大的自由度、更强大的工具，能够更批量地去做科学研究，实现更加丰富、更加重要的科学突破。”华先胜说道。
谷歌的 BERT、Open AI 的 GPT-3、智源的悟道、 达摩院的 M6 等大规模预训练模型取得了重要进展，大模型的性能有了飞跃性提升，为下游的 AI 模型提供了发展的基础。然而大模型训练对资源消耗过大，参数数量增加所带来的性能提升与消耗提升不成比例，让大模型的效率受到挑战。
阿里达摩院智能计算实验室科学家杨红霞在接受 InfoQ 采访时表示，预训练大模型还有亟待突破的几个课题：
目前的主流实践是先通过训练大模型（Pretrained Model），得到参数规模大、精度高的模型后，再基于下游任务数据，通过剪枝、微调的方法（Finetune）将模型的体积压缩，在基本不损失精度的情况下减轻部署的压力，不过业界还没找到通用的、直接训练小型模型就能得到较满意精度的办法；
训练千亿、万亿模型动辄就上千张 GPU 卡，对于大模型的推广和普惠也带来了很大的挑战；
预训练模型 Pretrain 阶段因为参数量大，目前主要是大量非结构化数据，如何与知识等结构化数据进行结合，进行更加有效的认知推理，也是一个非常大的挑战，等等。
达摩院认为，大模型的参数规模发展将进入冷静期，大模型与相关联的小模型协同将是未来的发展方向。大模型沉淀的知识与认知推理能力向小模型输出，小模型基于大模型的基础叠加垂直场景的感知、认知、决策、执行能力，再将执行与学习的结果反馈给大模型，让大模型的知识与能力持续进化，形成一套有机循环的智能系统，参与者越多，受惠者越多，模型进化的速度也越快。
“大小模型的协同进化也可以更好的服务于更加复杂的新场景，例如虚拟现实、数字人，需要云边端的同时部署与交互，同时该体系对于保护用户数据隐私也更加的灵活，用户可以在不同的端上维护自己的小模型。”杨红霞向 InfoQ 说道。
清华大学计算机系教授，北京智源人工智能研究院学术副院长唐杰表示，大模型的发展，在认知智能方面，模型参数不排除进一步增加的可能，但参数竞赛本身不是目的，而是要探究进一步性能提升的可能性。大模型研究同时注重架构原始创新，通过模型持续学习、增加记忆机制、突破三元组知识表示方法等方法进一步提升万亿级模型的认知智能能力。在模型本身方面，多模态、多语言、面向编程的新型模型也将成为研究的重点。
达摩院预测，在未来的三年内，在个别领域将以大规模预训练模型为基础，对协同进化的智能系统进行试点探索。在未来的五年内，协同进化的智能系统将成为体系标准，让全社会能够容易地获取并贡献智能系统的能力，往通用人工智能再迈进一大步。
电子芯片发展逼近摩尔定律极限，集成技术进步趋于饱和，高性能计算对数据吞吐要求不断增长，亟需技术突破。
光子芯片不同于电子芯片，技术上另辟蹊径，用光子代替电子进行信息传输，可以承载更多的信息和传输更远的距离。光子彼此间的干扰少、提供相较于电子芯片高两个数量级的计算密度与低两个数量级的能耗。相较于量子芯片，光子芯片不需要改变二进制的架构，能够延续当前的计算机体系。光子芯片需要与成熟的电子芯片技术融合，运用电子芯片先进的制造工艺及模块化技术，结合光子和电子优势的硅光技术将是未来的主流形态。
北京大学教授，上海光机所特聘首席研究员周治平表示，达摩院选择“硅光芯片”作为 2022 年 10 大科技趋势之一，印证了该技术在信息通信领域的巨大应用价值。硅光芯片的进一步扩展是硅基光电子芯片：利用集成电路的设计方法和制造工艺，将微纳米量级的光子、电子、及光电子器件异质集成在同一硅衬底上，形成一个完整的具有综合功能的新型大规模光电集成芯片。它更加显著地反映了人类社会在纳米技术方面的持续努力以及对更小型器件和更紧凑系统的极大兴趣。
达摩院预测，光电融合是未来芯片的发展趋势，硅光子和硅电子芯片取长补短，充分发挥二者优势，促使算力的持续提升。未来三年，硅光芯片将支撑大型数据中心的高速信息传输；未来五到十年，以硅光芯片为基础的光计算将逐步取代电子芯片的部分计算场景。
绿色能源的大规模开发和利用已经成为当今世界能源发展的主要方向。在高比例绿色能源并网的趋势下，传统电力系统难以应对绿色能源在大风、暴雨、雷电等天气下发电功率的不确定性，以及复杂故障及时响应的应对能力。
在运行监测过程中，参数核验和故障监测仍需要大量的人工参与，故障特征提取困难，识别难度大。针对大规模绿色能源并网在稳定、运行和规划上面临的各种挑战，以人工智能为主的新一代信息技术将对能源系统整体的高效稳定运行提供技术保障和有力支撑。
人工智能与能源电力的深度融合，将推动大规模新能源发电、并网、输送、消纳和安全运行，完成对能源系统的升级改造。
中国电科院首席系统架构师周二专认为，新型电力系统要实现智能调控、运行推演将离不开 AI 技术，在 AI 技术的支撑下构建多个物理电网和 IT 应用程序交互的数字孪生体，每个数字孪生体解决某一个场景或某一个方面的电网运行问题。这样，当有足够的孪生体构成电网调控数字孪生系统来解决电网运行问题的各个方面，即可实现智能调控。
达摩院预测，在未来的三年内，人工智能技术将帮助电力系统实现大规模绿能消纳，能源供给在时间和空间维度上能够互联互济，网源协调发展，弹性调度，实现电力系统的安全、高效、稳定运行。
机器人是技术的集大成者，在过去硬件、网络、人工智能、云计算的融合发展下，技术成熟度有了飞跃式地进展，机器人朝向多任务、自适应、协同化的路线发展。
柔性机器人是重要的突破代表，具有柔软灵活、可编程、可伸缩等特征，结合柔性电子、力感知与控制等技术，可适应多种工作环境，并在不同任务中进行调节。近年柔性机器人结合人工智能技术，使得机器人具备感知能力，提升了通用性与自主性，降低对预编程的依赖。
柔性感知机器人增加了对环境的感知能力 (包含力、视觉、声音等)，对任务的迁移能力增强，不再像传统机器人需要穷举可能性，并且可执行依赖感知的任务 (如医疗手术)，拓展机器人的适用场景。另一个优势是在任务中的自适应能力，面向突发变化能够及时反应，准确地完成任务并避免问题发生。
达摩院预测，未来五年内，柔性机器人将充分结合深度学习带来的智能感知能力，能面向广泛场景，逐步替代传统工业机器人，成为产线上的主力设备。同时在服务机器人领域实现商业化，在场景、体验、成本方面具备优势，开始规模化应用。
传统医疗依赖医生经验，犹如人工寻路，效果参差不齐。人工智能与精准医疗深度融合，专家经验和新的辅助诊断技术有机结合，将成为临床医学的高精度导航系统，为医生提供自动指引，帮助医疗决策更快更准，实现重大疾病的可量化、可计算、可预测、可防治。
预计未来三年，以人为中心的精准医疗将成为主要方向，人工智能将全面渗透在疾病预防和诊疗的各个环节，成为疾病预防和诊疗的高精度导航协同。而随着因果推理的进一步发展，可解释性有望实现突破，人工智能将为疾病的预防和早诊早治提供有力的技术支撑。
数据安全保护与数据流通是数字时代的两难问题，破解之道是隐私计算。过去受制于性能瓶颈、技术信任不足、标准不统一等问题，隐私计算尚只能在少量数据的场景下应用。随着专用芯片、加密算法、白盒化、数据信托等技术融合发展，隐私计算有望跨越到海量数据保护，数据源将扩展到全域，激发数字时代的新生产力。
浙江大学教授，浙江大学网络空间安全学院院长任奎表示，隐私计算不是某个单项技术，而是大一统的称呼，包括最早 1982 年提出的安全多方计算，到后来的同态加密、可信计算、差分隐私等等。但隐私计算早前并不具备太大的实用价值，像全同态加密理论上很好，但性能开销过大，实际使用很困难。现在随着硬件加速和软件创新，我们逐渐看到实用化的趋势，当然这还有个过程。
达摩院预测，未来三年，全域隐私计算技术将在性能和可解释性上有新的突破，或将出现数据信托机构提供基于隐私计算的数据共享服务。
基于地面网络和计算的数字化服务局限在人口密集区域，深空、海洋、 沙漠等无人区尚是服务的空白地带。高低轨卫星通信和地面移动通信将无缝连接，形成空天地海一体化立体网络。由于算随网动，星地计算将集成卫星系统、空中网络、地面通信和云计算，成为一种新兴的计算架构，扩展数字化服务的空间。
阿里达摩院 XG 实验室负责人张铭认为，星地计算要真正能够实现成功商用和规模化发展，仍涉及到不少核心技术的突破。
以低轨卫星终端为例，一是要以场景需求和商用价值为导向，二是需要从技术突破和解决工程问题等角度出发，设计高性能、低成本、适应场景多的商用产品。例如在关键技术方面，如何设计新型毫米波相控阵天线，以及相应的波束赋形控制算法，以低成本方式满足性能指标要求；如何设计新型星地通信协议，满足卫星互联网多用户、移动性、复杂动态业务需求；此外，在终端集成和优化方面，还存在很多工程问题需要突破和解决，从而满足海陆空不同场景下多方位需求。
达摩院预测，未来三年，低轨卫星数量会迎来爆发式增长，与高轨卫星共同组成卫星互联网。在未来五年，卫星互联网与地面网络将无缝结合形成天地一体的泛在互联网，卫星及其地面系统成为新型计算节点，在各类数字化场景中发挥作用。
新型网络技术发展将推动云计算走向云网端融合的新计算体系，并实现云网端的专业分工：云将作为脑，负责集中计算与全局数据处理；网络作为连接，将多种网络形态通过云融合，形成低延时、广覆盖的一张网；端作为交互界面，呈现多元形态，可提供轻薄、长效、沉浸式的极致体验。云网端融合将促进高精度工业仿真、实时工业质检、虚实融合空间等新型应用诞生。
达摩院预测，在未来两年内，将有大量的应用场景在云网端融合的体系运行，伴随着更多依云而生的新型设备，带来更极致、更丰富地用户体验。
随着端云协同计算、网络通信、数字孪生等技术发展，以沉浸式体验为核心的 XR（未来虚实融合）互联网将迎爆发期。眼镜有望成为新的人机交互界面，推动形成有别于平面互联网的 XR 互联网，催生从元器件、设备、操作系统到应用的新产业生态。XR 互联网将重塑数字应用形态，变革娱乐、社交、工作、购物、教育、医疗等场景交互方式。
达摩院预测，未来三年内会产生新一代的 XR 眼镜， 融合 AR 与 VR 的技术，利用端云协同计算、光学、 透视等技术将使得外形与重量接近于普通眼镜，XR 眼镜成为互联网的关键入口，得到大范围普及。
《达摩院 2022 十大科技趋势》原文：
https://alibabadamo.oss-cn-beijing.aliyuncs.com/4e4025d0d7d1e7946a182e85b24495f8/%E8%BE%BE%E6%91%A9%E9%99%A22022%E5%8D%81%E5%A4%A7%E7%A7%91%E6%8A%80%E8%B6%8B%E5%8A%BF.pdf?OSSAccessKeyId=LTAI5tG6ms5x7ey3jfJVjyTr&Expires=1640662039&Signature=fxkHdxT%2Blio04gvbvdm78V3bfjU%3D
如果觉得有用，就请分享到朋友圈吧！
公众号后台回复“transformer”获取最新Transformer综述论文下载～
# CV技术社群邀请函 #
备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳）
即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群
每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~
相关内容
微信扫码咨询专知VIP会员