为了促进信息领域学术交叉研究，构筑学术思想交流高地，在中国工程院信息与电子工程学部指导下，中国工程院院刊《Engineering》、《Frontiers of Information Technology & Electronic Engineering》（以下简称《FITEE》）于2021年9月发起主办“信息领域青年学术前沿论坛”（以下简称“论坛”）。论坛以学术创新思想创变启迪、前沿颠覆性技术观点分析和未来社会发展工程应用重大变革等为主题，邀请院士、专家和青年学者开展交流与互动，塑造发挥学术自由、鼓励创新和探索学问的学术氛围。通过线上直播等形式不定期举办。重点邀请《Engineering》和《FITEE》青年通讯专家及海内外青年学者对信息及其交叉领域的前沿进展、技术突破和创新应用进行学术报告。“信息领域青年学术前沿论坛”已连续成功举办了两期主题分别为“支撑工程和科学发展的信息技术”和“集群认知协同智能处理前沿技术”的论坛。
当前，通过深度学习和迁移学习等技术，以“涌现”和“同质化”为特点的大模型或基石模型（big model或Foundation Models）在文本理解、艺术创造、跨媒体计算等领域获得了快速发展，取得了突出成效。所谓“涌现”代表一个系统的行为是隐性驱动、而非显式构建，所谓“同质化”指大模型汇聚技术手段为不同应用而打造、大模型中任意缺陷会被所有下游任务所继承。
2017年Transformer的提出，深度学习模型参数首次突破1亿。随后，国际上出现了BERT、DALL-E、GPT-3和Switch Transformer等大模型，国内出现了M6、盘古、文心等大模型，模型参数不断变大，逐渐从亿、到百亿和千亿，甚至突破了万亿规模。大模型在“黄氏定律”算力推动下不断发展，被称为人工智能领域的“军备竞赛”。
“化繁为简、大巧不工”是机器学习初衷之一。费米曾经讲述过如下故事，他说冯·诺依曼曾经对他说过，用四个参数就可画出一头大象，用五个参数就可让大象鼻子动起来，这是“四个参数画大象”故事由来。加州大学伯克利分校助理教授针对交通预测模型越来越复杂这一困惑，于70年代撰写过《大模型的安魂曲（Requiem for large-scale models）》一文，阐述了在城市交通预测领域中使用大模型的七宗罪（seven sins）。
应该说，大模型有力促进人工智能赋能广泛任务。在“泛在互联、端云协同、AI赋能”时代背景下，将大模型蒸馏压缩为终端可用个性化小模型，同时终端可用个性化小模型汇聚起来提升云端大模型的泛化能力，形成端云协同机器学习计算范式，体现“须弥纳于芥子”的哲学思想，是大模型赋能经济发展和社会进步要解决的关键问题。“能用众力，则无敌于天下矣；能用众智，则无畏于圣人矣”。
马克思在第二次工业革命之开端曾指出，机器体系不同于一般工具，是“人手创造出来的人脑器官”，既是一种异己的强大的机体，也受控于全社会所共同积累和分享的“普遍智能”。大小模型通过端云而协同这一计算模式为“普遍智能”落地开启了一种新的范式革命！
2022年1月24日（周一），浙江大学上海高等研究院、上海交通大学计算机科学与工程系、阿里巴巴达摩院将联合承办举行“信息领域青年学术前沿论坛” 第三期——“大模型与端云协同：须弥纳于芥子？”届时将邀请相关领域专家围绕端云协同机器学习前沿理论、方法和技术生态体系展开讨论。欢迎关注！
2022年1月24日（星期一） 19:00-21:30
![]()
李耀平
中国工程院院刊Engineering信息与电子工程学科执行主编
丁宁
中国工程院三局学术与出版处处长、Engineering执行副主编
翟自洋
FITEE编辑部主任
19:25-19:30｜端云协同平台“洛犀”发布仪式
主持人：周靖人博士
阿里巴巴集团资深副总裁
上海浙江大学高等研究院、阿里巴巴达摩院、上海人工智能实验室联合发布洛犀端云协同平台。“洛犀”取自宇宙中大小星体之间洛希吸引力和犀牛赋能之力，在 “泛在互联、端云协同、AI赋能”时代背景下，寓意大小模型协同进化，体现“须弥纳于芥子”的哲学思想。
19:30-19:50｜端云协同平台“洛犀”技术体系和实践
19:50-20:10｜基于国产超算的百万亿参数超大预训练模型训练方法
20:50-21:10｜存算一体芯片架构突破AI/HPC计算内存墙瓶颈
21:10-21:30｜面向泛在智能的系统软件研究与进展
嘉宾简介：美国杜克大学博士，阿里巴巴达摩院人工智能科学家。主导阿里下一代人工智能突破性技术-认知智能的技术发展与场景应用落地。在顶级统计和机器学习国际学术期刊&会议发表论文80余篇，美国和中国专利近20项。带领团队获得2019世界人工智能大会最高奖卓越人工智能引领者（Super AI Leader，简称SAIL奖），2020年国家科学技术进步奖二等奖和杭州市领军型创新团队，2021年电子学会科学技术进步奖一等奖等荣誉。加盟阿里前，曾任IBM全球研发中心Watson研究员、Yahoo！首席数据科学家。
报告摘要：随着移动芯片计算能力的指数级增长，智能移动设备在内容展示终端这一传统角色之外，逐渐承担起更多任务，如渲染计算，深度模型推理等。如何充分利用好移动算力，通过端云协同提供服务是大型互联网公司的热门探索方向之一。在探索端云协同分布式机器学习系统过程中，我们归纳开创了5种服务建构，分别为1. 云端单独建模 2. 端侧单独建模 3. 端云联合，云侧为中心的建模（如联邦学习） 4. 端云联合，端侧为中心的建模，如Device-Cloud Collaborative Learning（简称DCCL，已发表于KDD21） 5. 端云一体协同建模与推理。端云协同方式能够有效提高端侧模型的实时性，从而大幅增强系统离线&在线服务效率指标。本次分享同时会介绍端云协同算法平台“洛犀”——对于已探索的端云协同架构，我们归纳设计了对于通用问题的解决方案，包含端流程调度层、模型服务层、表征服务层，并对后续端计算的探索和外部应用快速支持提供了解决方案。
报告嘉宾：翟季冬（清华大学）
嘉宾简介：清华大学计算机系长聘副教授，博士生导师。现为清华大学计算机系高性能所副所长，ACM中国高性能计算专家委员会秘书长、北京智源青年科学家。研究方向包括高性能计算、编程模型和编译优化等。研究成果发表在相关领域顶级学术会议和期刊——SC、ICS、PPOPP、ASPLOS、MICRO、OSDI、ATC、IEEE TC、IEEE TPDS等。多次获得国际学术会议最佳论文奖和提名奖，包括CLUSTER 2021最佳论文奖、ICS 2021最佳学生论文奖、SC 2014 Best Paper Finalist、ICDCS 2020 Best Paper Honorable Mention奖。担任NPC 2018程序委员会主席、IEEE Cluster 2021领域主席、SC 2022领域副主席，SC、ICS、PPOPP、PACT等国际学术会议程序委员会委员。目前担任IEEE Transactions on Computers、IEEE Transactions on Parallel and Distributed Systems、IEEE Transactions on Cloud Computing等六个国际学术期刊编委。担任清华大学学生超算团队教练，指导的团队十二次获得世界冠军。在2015年和2018年包揽了SC、ISC、ASC三大国际超算竞赛的总冠军，实现“大满贯”。获教育部科技进步一等奖、中国电子学会科学技术一等奖、中国计算机学会优秀博士学位论文奖、IEEE TPDS杰出编委奖（Editorial Excellence Award）、国家自然科学基金优秀青年科学基金、CCF-IEEE CS青年科学家奖。
报告摘要：大规模预训练模型已经在一系列重要应用中显示出其先进性。随着预训练模型规模的急剧增长，训练此类模型需要海量的计算和存储能力。为此，我们在国产新一代高性能计算机上训练了一个174万亿参数的超大规模预训练模型，模型参数与人脑中的突触数量相媲美。本报告中，介绍我们在加速这一模型中遇到的挑战以及相应的解决方法。
报告嘉宾：吴帆（上海交通大学）
嘉宾简介：上海交通大学计算机科学与工程系教授、博导、系主任，2020年国家自然科学基金杰出青年科学基金获得者。在移动计算、大数据管理、智能博弈等领域取得了一系列科研成果，已发表学术论文200余篇，论文发表在JSAC、TON、TMC、TPDS、TOC、TKDE等国际著名期刊，以及MOBICOM、MobiHoc、CoNEXT、INFOCOM、ICDE、VLDB、KDD等重要国际会议，并出版英文专著一部。现任IEEE Transactions on Mobile Computing、ACM Transactions on Sensor Networks、IEEE Transactions on Network Science and Engineering、Elsevier Computer Networks编委，以及Journal of Computer Science and Technology青年编委和中国计算机学会通讯专题编委。曾获教育部自然科学奖一等奖2项、ACM中国新星奖、CCF-IEEE青年科学家奖、仲英青年学者、CCF-腾讯犀牛鸟卓越奖、CCF-Intel青年学者提升计划、上海市浦江人才，以及包括IEEE/ACM IWQoS 2020在内的7次国际学术会议论文奖。先后担任ACM中国理事会副主席、CCF上海分部秘书长、CCF YOCSEF上海主席等。作为项目/课题负责人承担国家重点研发计划、国家自然科学基金、上海市科委项目20余项。
报告摘要：随着手机、可穿戴设备、机器人、无人车、无人机等移动终端设备在计算、存储等方面能力的大幅提升，在移动端设备上进行智能化的数据处理（例如特征计算、模型推断和训练）成为新趋势。交互式商品推荐、人脸识别、语音识别等端智能技术纷纷应用于智慧零售、智能家居、智能交通等场景，为人们的日常生活带来了极大的便利，也深刻改变了产业形态，推动了产业转型升级。相比于传统云智能，端智能具有服务模型个性精准、实时性高、隐私安全性强等核心优势，同时也面临着设备资源受限且差异化大、数据异质性高、终端可靠性差等关键挑战。本报告将介绍移动端智能计算的挑战问题、现有解决方案以及未来研究方向。
报告嘉宾：况琨（浙江大学）
嘉宾简介：浙江大学计算机学院副教授，博士生导师，人工智能系副主任。2019年获得清华大学计算机科学与技术专业博士学位，2017—2018年访问美国斯坦福大学。获2020年度中国人工智能学会优秀博士学位论文提名奖。研究方向包括因果推理、人工智能、因果指导的可信机器学习，关注机器学习的可解释性、稳定性、公平性和可回溯性。在数据挖掘和机器学习领域已发表近40余篇顶级会议和期刊文章，包括KDD、ICML、MM、AAAI、TKDE、TKDD、Engineering等。
报告摘要：机器学习方法在很多领域都取得了巨大的成功，但大多缺乏可解释性和稳定性。因果推理是一种用于解释性分析的强大建模工具，能支持当前机器学习做出可解释、稳定和可泛化的推理。本次报告主要围绕因果推断和因果约束的稳定可泛化学习进行分享。面向复杂高维大数据，传统因果推断方法面临一下新挑战，为了应对这些挑战，我们提出了分解表示反事实回归(DeR-CFR)模型和生成对抗性去混淆(GAD)算法。此外，通过将因果推理与机器学习相结合，我们为许多任务提出了一系列因果正则化方法，实现了因果约束的稳定可泛化学习。
报告嘉宾：郑宏忠（阿里巴巴达摩院）
嘉宾简介：阿里巴巴达摩院计算技术实验室科学家，伊利诺伊州立大学芝加哥分校博士。研究领域为高性能计算机系统架构，新型内存和存储系统架构，机器学习软硬件系统架构，和存算一体架构。曾在三星美国Memory Solution Lab担任研究总监，多次获奖，发表30+学术论文和100+专利。
报告摘要：经典的冯•诺伊曼计算机架构下计算与存储是两个分离的单元，随着AI模型复杂度与运算量呈指数级增加时，该架构面临着功耗墙、性能墙、内存墙、摩尔定律趋缓等诸多挑战。达摩院计算技术实验室成功研发全球首款基于DRAM的3D键合堆叠存算一体芯片。它可解决冯·诺依曼架构的性能瓶颈，满足人工智能等场景对高带宽、高容量内存系统和极致算力的需求。与传统芯片相比，该芯片可提供20倍以上的片上存储容量（4 GByte高速内存），内存能耗低至0.88 pJ/bit。测试显示，在实际推荐系统应用中，该芯片相对于传统CPU计算系统可以达到10倍以上性能提升和300倍的能效提升。该技术的研究成果已被芯片领域顶级会议ISSCC 2022收录。
报告嘉宾：刘譞哲（北京大学）
嘉宾简介：北京大学长聘教职研究员，博士生导师。北京大学软件研究所副所长。研究方向为系统软件、服务计算等。发表CCF A类和中科院SCI一区等论文60余篇，获WWW 2019最佳论文奖、《Science China Information Science》5年高影响力论文奖等10次国际期刊/会议优秀论文荣誉。曾入选“青年长江学者”；获教育部“青年科学奖”、CCF-IEEE CS“青年科学家奖”、IEEE TCSVC Rising Star Award、北京大学“十佳教师”、北京大学“教学卓越奖”等；获国家技术发明一等奖和教育部科技进步一等奖；主持多项国家和省部级科研项目；担任WWW、ICSE、KDD等顶级会议程序委员会成员；CCF服务计算专委副秘书长。
报告摘要：以互联网为主干，云计算、物联网、工业互联网等交叉融合，正在驱动“万物互联、人机交互、天地一体”的泛在计算环境形成。系统软件的形态和机理也在发生新的变化，数据成为系统的核心要素，智能成为系统的核心部件。本次报告将围绕泛在计算环境下新型智能系统软件的机遇和挑战，探讨云网边端全栈资源服务化、协同导向的系统组装化和场景驱动的智能化方面的研究进展和实践。
学术指导｜中国工程院信息与电子工程学部
主办｜中国工程院院刊：《Engineering》、《Frontiers of Information Technology & Electronic Engineering》
承办｜浙江大学上海高等研究院、上海交通大学计算机科学与工程系、阿里巴巴达摩院
支持｜电子装备结构设计教育部重点实验室（西安电子科技大学）、雷达信号处理国家级重点实验室（西安电子科技大学）、人工智能协同创新中心（浙江大学）、电子装备机电耦合理论与关键技术“111”创新引智基地（西安电子科技大学）
合作媒体｜Paperweekly、学术世界、蔻享学术
欢迎添加学术小助手微信申请加入论坛交流群
获取论坛直播相关信息，更有机会获得惊喜大奖！
2021年9月26日论坛第一期围绕“支撑工程和科学发展的信息技术”的主题，特别邀请中国工程院段宝岩院士、浙江大学吴飞教授、中国移动刘光毅博士分别解读2021信息领域入选工程成就500米口径球面射电望远镜、AlphaGo-AlphaFold及第五代移动通信系统，国防科大李东升教授、百度何径舟博士、华为于璠博士做科学计算支撑工程创新发展主题报告。（附：第一期论坛总结链接）
2021年11月6日论坛第二期由浙江大学上海高等研究院与西安电子科技大学联合承办，邀请同济大学洪奕光、国防科大徐昕、清华汪玉、北理工孙健、华中科大张海涛、北大王龙六位教授围绕“集群认知协同智能处理前沿技术”展开讨论。（附：第二期论坛总结链接）
Engineering是中国工程院主管，中国工程院战略咨询中心和高等教育出版社共同主办的工程类综合性英文学术期刊。
Engineering的目标是建设世界一流工程科技学术期刊，正如英国的Nature是“发现世界”，美国的Science是“解释世界”，中国的Engineering就是要“改变世界”。
Engineering致力于为全球提供高水平的工程科技重大成果发布与交流平台，探讨工程科技发展的热点和难点问题，以更好地造福人类，创造更美好的未来。
2019年，Engineering成功入选“中国科技期刊卓越行动计划”领军期刊，最新影响因子为7.553。
FITEE全称Frontiers of Information Technology & Electronic Engineering，中文名《信息与电子工程前沿（英文）》，是信息电子类综合性英文学术月刊，SCI-E、EI收录，位于JCR Q2分区。
FITEE前身为2010年创办的《浙江大学学报英文版C辑：计算机与电子》，2015年更为现名，现为中国工程院信息与电子工程学部唯一院刊。覆盖计算机、信息与通信、控制、电子、光学等领域。文章类型包括研究论文、综述、个人视点、评述等。
2019年，荣获中国科协等七部委推出的中国科技期刊卓越行动计划项目资助（梯队期刊）。最新影响因子为2.161。
微信扫码咨询专知VIP会员