TF53回顾 | 近两百人在线探讨，大规模知识表示与推理实践的技术魅力

2022 年 4 月 29 日 中国计算机学会

4月26日，CCF TF第三期活动预训练时代的大规模知识表示与推理实践吸引了300多人报名参加，近200人实时在线探讨互动。来自腾讯、阿里巴巴和中科院软件所的研究人员围绕主题从不同层面分享了研究成果和行业最佳实践，同时与参会者进行热烈的学术交流。

随着预训练和提示学习等技术的普及，各种大规模预训练模型已经在自然语言处理、多媒体与机器视觉、搜索推荐等领域得到广泛应用，影响并渗透到各个行业与领域。当前，预训练模型中的知识表示与探测，知识嵌入与推理，大规模高效训练是关键技术，也面临着诸多挑战，本场活动在CCF TF知识图谱SIG主席、同济大学特聘研究员王昊奋博士的主持下，来自腾讯内容平台部陈曦博士、中科院研究所研究员韩先培博士和阿里巴巴-阿里云智能计算平台事业部机器学习平台算法工程师李鹏博士与在线近200名参会嘉宾围绕主题展开深入探讨。

王昊奋主持会议

吴华致辞

TF主席、百度技术委员会主席吴华首先作开场致辞。同样也从事本期主题相关专业研究的吴华对此次活动表达了期待，随后介绍了CCF TF全年共计47场的活动计划，并表示已经召开的两场活动吸引了不少人员参与，全年丰富的活动相信也会为有需要的人士扩宽思路和参考。

2022年CCF TF活动计划

【知识增强的预训练语言模型工业界进展与实践】

主题分享中，陈曦从语言模型与知识图谱的关系、知识增强预训练典型方法以及知识增强实践三方面讲解了知识图谱结合预训练模型范式在工业界的进展。陈曦从“语言模型是否可替代KG？”出发，通过举例论证，认为预训练语言模型能够学习到事实和常识知识，同时在一些问答任务中比肩SOTA，但是对于一些深层次偏推理和带有逻辑性的研究任务，预训练模型还处于早期探索阶段。通过分享业务中的知识增强方法实践，陈曦强调了知识扩展、知识选择、知识验证等研究在当下以及未来的重要性。

陈曦分享内容

【Knowledge Probing in Large-scale Pre-trained Language Models】

韩先培从narrow AI 到general AI发展的角度阐述了符号主义和连接主义等表达知识的方法范式，并重点介绍了基于大规模预训练模型的知识探测方法。针对大规模预训练模型知识探测任务中时而能预测正确时而预测错误的问题提出了思考：如何设计更好的知识探测方法，提升知识探测的性能和可靠性？当前知识探测方式的作用机制是什么，当前知识探测不准确、不可靠和不一致背后的原因是什么？并层层递进讲解了对以上思考的探索，包括知识探测方法增强、知识探测的机制理解等研究。韩先培认为预训练模型具有成为下一代知识图谱的潜力，但也迫切需要更多研究来探明其背后的预测机制。

韩先培分享内容

【面向自然语言生成的大模型稀疏训练工业界进展综述】

李鹏以如何使大规模预训练模型在工业界落地以及产生不错效果的角度展开分享。具体从什么是大规模稀疏训练、稀疏训练相对于现有大规模稠密预训练模型的优点、MoE在学术界的进展到工程实践中偏底层的大规模稠密和稀疏平台Rapidformer的建立都进行了详细介绍。李鹏不仅总结了当前性能最佳的稀疏训练方案以及随机路由性能差的原因，同时对路由网络设计的改进提出了期待的解决方案。

李鹏分享内容

在提问互动环节，线上观众踊跃参与，提出了很多实际且深刻的问题，例如知识图谱和预训练结合在复杂任务的效果如何，如多跳问答推理；是否有定量指标，可以借助知识探测来评估语言模型包含知识的程度；语言模型存储知识的机制是什么，知识神经元是否有知识编辑的作用；MoE在多任务学习上的经验分享。

在最后的总结中三位老师表达了自己的看法，陈曦说真实业务中利用知识增强的预训练学习方法，还是需要进行知识选择的探索以更好的去除噪声；韩先培提到如何用预训练模型作为知识库的工作只是刚刚开始，还有非常多的可以值得研究的问题，希望更多的人能一起研究和探讨；李鹏则认为当人类还没有对深度学习白盒化开箱解释之前，就索性选择“大力出奇迹”的方法吧。

本期会议在短短2个小时内干货满满，层层递进，参会者积极互动。TF53的成功举办，让大家对TF接下来的44场活动充满了更多的期待。

下期预告：

CCF TF55

TF55邀请到阿里、字节和腾讯等头部企业的前端领域专家，分享他们在前端工程化领域的最新实践，参会人将会收获这些企业中前端工程领域针对质量、效率、成本等各方面的优化措施和思路，对于希望在前端工程领域取得突破的团队，有很好的借鉴意义。

识别或扫码报名

报名链接：https://conf.ccf.org.cn/TF55

CCF TF56

TF56邀请到知名高校、新能源行业及制造业头部企业的代表，深入探讨产品设计MBD。围绕MBD的诞生、发展、应用进行了分享及讨论，研究制造型企业在数字化转型及智能制造的方向及可行性。5月10日线上见。

识别或扫码入会

报名链接：https://conf.ccf.org.cn/TF56

关于CCF TF

CCF TF技术前线(Tech Frontier)创立于2017年6月，旨在为技术团队提供顶级交流平台，更好地服务企业界计算机专业人士，帮助企业界专业技术人士职业发展，通过搭建平台实现常态化合作和发展，促进企业间、学术界与企业间技术交流。目前已组建架构、安全、智能前端、知识图谱、数据科学、工程师文化、算法与AI、智能制造、智能设备与交互、产业智能化、研发效能等十一个SIG(Special Interest Group)，提供丰富的技术前线内容分享。2022年4月至2023年3月，CCF TF将在线开展47场活动，会员免费参加。

加入CCF

加入CCF会员享受更多超值活动，为自己的技术成长做一次好投资。

点击链接了解更多会员权益：CCF个人会员权益 CCF公司会员权益