《人工智能新数学问题: 广义约束》综述论文，中科院自动化所胡包钢研究员

2020 年 11 月 17 日 专知

这里介绍2020年疫情发生后我们书写的一篇人工智能综述文章[2]。该文也是从提出数学问题方式向香农(C.E. Shannon，1916年4月30日-2001年2月24日)、卡尔曼(R.E. Kalman，1930年5月19日-2016年7月2日)、扎德(L.A. Zadeh, 1921年2月-2017年9月6日)等人学习与致敬！因为正是他们的学术思想指引我们完成了这样的综述文章。写作中我们试图学习主动与这些学术大师人物对话，力争提出他们也能感兴趣的问题来与同行交流。以下介绍本文话题内的学术背景，只是正文不好包括的内容。目的是更好的学术交流。

论文地址：

https://arxiv.org/abs/2011.06156

本文简要回顾了“广义约束”提出的历史。尽管该术语在1960年代就已经出现，而具体定义是扎德于1986年、1996年文章中逐步给出。其中他将“广义约束”定义为各种结构化先验知识，并于2011年逐步扩展为“不确定性广义理论（GTU）”。他多篇“广义约束”与“不确定性广义理论”文章更是一种学术思想提出，而没有给出具体应用实例。该思想提出后并非得到学界同行的大体认同，这可以从相关文章引用率上看出。扎德是以其“模糊集理论之父”而著称，实际上他在自动控制理论中也有诸多建树，如他1956年针对黑箱系统建模问题以及1962年针对“电阻–电感–电容”网络提出系统辨识问题，都是开创性的。1965年扎德开创的“模糊集理论”应该源于“将自然语言转化为数学语言”这样的问题而提出。然而，该理论提出后受到了卡尔曼的质疑：“'Fuzzification' is a kind of scientific permissiveness; it tends to result in socially appealing slogans unaccompanied by the discipline of hard scientific work and patient observation.（`模糊化'是一种科学的松懈，它倾向于产生具有社会吸引力的口号而非伴随严谨科学工作与耐心观察。)[3]” 。模糊集理论应该是在它出现十年后才得到学术界同行的认可，重要原因有日本学者应用该理论取得了显著的应用成果。学习这个历史对我们开展创新工作是有意义的。建议读者阅读王立新教授的相关文章[4]。喜欢阅读他对前人（包括其导师）工作有自己独到见解，且一语中的（“实际上模糊理论具体所做的事情却恰恰相反，是`解模糊'”）。学习前人不只是知识获取，应勇于超越前人而创新。创新始于独到见解，其中还要有“虽千万人吾往矣”的劲头。

我们团队大体是2005年开始神经元网络研究。要知道这时主流是支持向量机研究的天下。在神经元网络为低谷时选择该内容是因为我们认为大脑远不是支持向量机为一层网络结构这样简单。在梳理神经元网络各类问题后，我们选择“透明度”为各种问题中的基础问题，拟定的解决方案是应用一种部分已知（PKR）的“广义约束”，且以回归问题为研究实例。2007年我们发表了中文综述文章《如何增加人工神经元网络的透明度?》。该文可以成为透明度为人工智能研究主题的早期文章，局限性是中文方式发表。以此为主线我们后来发表了更多英文学术文章。这里分享一下我们团队在研究工作中基于方法论的两条研究主线。当基本科学问题设定是“学什么”，也可以称为“学习目标选择”时。在该问题下面我们列出两条研究主线，分别为“透明度或广义约束”与“基于信息论的学习目标与评价”。在团队内外交流时我会反复强调研究主线。这不仅是听取他人意见的好机会，也是考察我本人能否讲明及其新发展。一般我们对具体应用研究主线很明确，而缺失方法论方面的主线或积累。不同视角主线要互相靠拢。我们研究工作是受益于这样顶层设计思考，由此尽量避免“只见树叶，不见森林”或者“打一枪换一个地方”的研究方式。深度学习中三位图灵奖获得者的经历也告知我们研究要有顶层设计与学术坚守。

本文正是在原有“透明度或广义约束”学术思想主线的后续发展。其中的主要学术新贡献是将“广义约束”扩展为包容非结构化的先验信息，以及指出由此产生的各种新挑战。对目前同行中提出的Transparent AI (TAI), Interpretable AI (IAI), Explainable ANN (XAI) 予以了重新定义，保证新定义在数学集合层面可以区分。对应同样有“可解释性”的英文，我们给出IAI是自然语言可解释AI，XAI是数学语言可解释AI，分别对应了“浅层”与“深层”知识理解。人工智能终极发展应是XAI。我们团队开展的参数可辨识性给出了XAI研究具体实例。XAI新定义提出还有利于我们从数学层面考虑其边界。如果对人类大脑活动无有计算表达情形存在，所谓机器全面超越人类智能就如水中捞月或制造永动机？

我们总结“广义约束”是实现“知识与数据共同驱动人工智能”研究中出现的新数学问题，是围绕知识嵌入与提取两个重要环节而生成，并需求数学层面予以解决。本文书写中我们也在自我质疑这种提法是否合理与正确。因为文中提出的新数学问题与传统具体数学问题显然不同，表达内涵更为多样与宽泛（参见《人工智能新数学问题: 广义约束》讲稿第35页），且广义约束问题仍然缺失严谨数学形式化定义。但是如果考察具体“广义约束”问题，请参见《人工智能新数学问题: 广义约束》讲稿第36页中的一个例题。这应该属于应用自然语言表达的新数学问题。

我们希望听到同行对本文观点的质疑与建议。可以理解，向香农等大师学习的最好方式是主动继承与发展他们学术思想，勇于提出新见解，新问题。设想一下，如果“广义约束”不是新数学问题，那么人工智能新数学问题会是哪些？这更是本文书写的初衷：“人工智能缺少理论是否由于其中新数学问题还没有探明？”

在此致谢我们团队所有人员的学术贡献，其中他们部分工作本文有所介绍。团队在以往的讨论与工作都是本文学术观点积累形成的基础。特别致谢中国自然科学基金多个项目的长期支持，其项目结题考察中宽容预期目标变化方式让我们在研究中真正受益。感谢目前正在实施的国家重点研发计划-科技创新2030课题项目（2018AAA0101005）的支持。

致谢arXiv、《专知》、《中国科学院自动化研究所公众号》等这样网上公共平台，为我们快捷地交流各种“作品”提供了极大便利。“让作品说话”是当下“破五维”题中应有之义[1]。

参考文章或网站：

1. 胡包钢，《以“作品文化”取代“帽子文化”》， 2019， https://zhuanzhi.ai/document/5eeb02d0e6664e43f7d0edfb038ac822?from=doc_sim_rec

2. 胡包钢，《人工智能新数学问题: 广义约束》, 2020，“专知”

3. Dubois, D. and Prade, H.，Fundamentals of fuzzy sets， Springer Science & Business Media，2012.

https://link.springer.com/content/pdf/10.1007/978-1-4615-4429-6_1.pdf

4. 王立新，《扎德如何反驳卡尔曼对模糊数学的批评》， 2019。http://blog.sciencenet.cn/blog-2999994-1198973.html

论文图示：