机器学习奠基人Thomas Dietterich：人类将如何受到AI威胁

2017 年 6 月 16 日 机器人2025

转自：CSDN

文 | 王艺

AAAI前主席Thomas G. Dietterich教授曾说：“我一点也不担心人工智能会超过人类并控制人类。因为智能软件的主要风险不在于‘智能’，而在于‘软件’。像所有的软件一样，它会包含错误。如果将其用于包括自驾车在内的高风险应用，则这些错误有可能危及人的生命和财产。”

作为通用机器学习技术奠基人之一，Thomas G. Dietterich的研究贡献主要包括将纠错输出编码应用于多类分类问题，他发明了多示例学习、层次强化学习MAXQ框架及将非参数回归树整合到概率图模型中的方法。此外，Dietterich教授也参与撰写了美国白宫发布的两份重磅AI报告《为人工智能的未来做准备》和《美国国家人工智能研究与发展策略规划》。

有幸，Dietterich教授将参加7月22-23日于杭州国际会议中心举行的2017中国人工智能大会（CCAI 2017），现场向中国数百万开发者介绍如何通过适当的算法确保人工智能系统安全。此外，多位世界级专家也将在Keynote报告中分享人工智能关键领域的学术进展，并带来与企业界应用结合的最新实战案例。

会前，CSDN采访到Dietterich教授，并就人工智能对人类的最大威胁这一话题展开讨论。

以下为采访实录。

AI将以何种方式威胁人类

人工智能想要与人类抗衡，需要跨过一个门槛，我目前还没有发现任何证据表明AI系统已经聪明到可以跨过这个门槛。这个门槛即是AI系统能否快速地自我更新，进而演化为超级智能。但请不要天真地认为“人类的智慧”是这种门槛所在。目前，我们大多数的AI系统都能以某种方式超过人类，否则我们也没有必要创建或使用它们。但虽然如此，我们还是没有从中看到任何的阈值效应。因此，由J.J. Good和Nick Bostrom所提出的，一旦人工智能系统达到人类智能，就会出现智力爆炸的看法，是不被证据或理论所支持的。

虽然我不相信会有一个良好/博斯托克风格（Good/Bostrom style）的智能爆炸。但有一件事情需要注意，各种AI技术的能力正在呈指数级增长，我期望这个趋势能这样持续下去。这个指数增长使得未来很难预测。当雷·库兹维尔谈到“奇点”时，他正在引用一种物理奇异性的比喻（比如黑洞或大爆炸）。信息不能通过物理奇点传播，他以类推的方式认为，由于人工智能技术的指数级发展，我们无法预见未来。

我一直认为，在高风险应用中部署人工智能技术将带来危险，因为如果软件出现错误（然而软件总是存在错误），它们可能会威胁人身安全或对经济产生不利影响。例如，如果部署AI软件来管理电网，则软件缺陷可能导致大量停电。我认为这类问题是目前人类受到AI技术威胁的最有可能的方式。

AI将给人类带来哪些问题

我想以AI研究人员和从业者需要解决的三个技术问题切入回答。如果在我们拥有自主的AI系统和人机AI系统之前，这些问题还没有得到解决，那么这些系统将不可靠、不可预测，这很危险。

检验和确认（Verification and validation）。第一个技术问题是，对于大多数AI系统，特别是基于机器学习的AI系统，我们无法验证其正确性。对于监督学习，只有在测试数据与训练数据来自相同的分布的假设下，我们才能验证其正确与否。最近的一些工作表明，深层神经网络容易受到对抗数据的影响。因此，在真实条件下，我们需要一个可测试的方法来保证系统的准确性。
对已知和未知的未知问题的鲁棒性（Robustness to known and unknown unknowns）。传统意义而言，AI系统关注性能，其中包括相较于预期的准确性、成本以及回报。除此之外，在与安全密切相关的应用中，我们需要准备一些方法以便处理下行风险和一些罕见但有灾难性后果的问题。大多数现有的下行风险方法只考虑“已知的未知”，即我们所知道的风险。但我们也需要开始寻找方法，以便从模型故障层面也能够提供鲁棒性（即未知的未知层面）。这是接下来的研究中一个非常重要的话题。
人机协作系统的平衡（Resilience of combined human-machine systems）。在绝大多数应用程序的设置中，AI系统不能完全自动运行。相反，在循环中需要有人类的“参与”，这在高风险环境中尤其重要。我认为，下一步研究的挑战是寻找设计人机协作的方法，使人类与机器系统能够结合得更好。

您为什么提倡限制模型的复杂度

如果对世界上的一切建模的话，那么模型的大小基本上与宇宙的大小相同。用这样的模型进行计算是不切实际的，从数据中学习到这样的模型也是不可能的。在机器学习中，我们知道模型的准确性与数据量成正比，与模型复杂度成反比。所以要获得准确的模型，我们必须要有大量的数据；若我们没有大量的数据，那么我们必须限制模型的复杂度。

在具体施行层面，上述问题能够实例化为AI研究人员所面对的资格问题（the Qualification Problem）以及分支问题（the Ramification Problem）。资格问题表明，我们无法枚举一件事情成功的所有前提条件。分支问题表明，我们不可能列举一个行动所有的直接和间接的影响。

中美人工智能发展有何差异

我对中国和美国AI行业的了解不是特别多。但我的印象是，中国、美国或者说世界其他国家之间，正在解决的人工智能问题以及应用的技术种类没有什么显着的差异。中国在将深度学习应用于自然语言理解以及机器翻译等领域较为领先，并在其他领域（例如计算机视觉）方面也有所贡献。特别有趣的是，中国的无人机产业正主宰市场，并能够将例如手势控制等有趣的AI形式融入无人机。

所以总体而言，我对中国或者非中国的AI行业的看法是一致的：AI技术需要通过关注测试、检验、确认、鲁棒性和强大的人机界面而变得更加成熟。在与安全相关的应用程序中部署AI的时候，我们应该非常小心。

您对AI最直观的三个看法

AI说到底是一种智能软件。它不是要复制人类，而是一种能够为社会所用的人造智能。
当AI系统下围棋时，它是真的在下围棋。但是，当AI系统模拟人的情感时，它并没有体验到人类的情感，因为它不是由生成人类感觉和情绪的生物材料所组成的。所以当一台电脑对你说，“我知道你的感觉”，它在说谎。
智能软件的主要风险不在于“智能”，而在于“软件”。像所有的软件一样，它会包含错误。如果将其用于包括自驾车在内的高风险应用，则这些错误有可能危及人的生命和财产。

您所参与的有趣研究与最自豪的科研成果

我一直将机器学习的基础研究与新颖的应用相结合。在应用层面的实战工作是发现新的有趣的研究问题的一种方式。例如，我的一篇关于多实例问题的论文是出于我将机器学习应用于药物活性预测方面的工作。我所任教的俄勒冈州立大学是生态科学领域世界顶尖的大学之一。通过之前的一位学生，我结识了一些生态学家，我对他们的研究问题非常感兴趣。此外，我也渴望解决一些能够在全球范围内产生积极影响的问题。

从中我得到了一些启示，其中最大的一个启示是，生态系统很少处于平衡状态，也就是说，我们普遍认为的“自然平衡”其实是不存在的。相反，生态系统需要不断应对干扰（洪水，火灾，疾病），正是这些扰动推动了新物种的进化和创造（以及现有物种的灭绝）。我们对自然的模拟不能通过定义并优化目标函数来实现。因为它需要应对干扰，需要反弹。

我最为自豪的研究是我在分层强化学习中的工作。我开发的MAXQ理论为深入理解是什么造就了一个性能良好的子程序提供了崭新的视角。它证明了在抽象层面，仅仅时间抽象是不够的，我们需要的时间抽象与状态抽象的结合。机器能够成功且快速学习的关键在于这两种抽象形式的协同工作。

遇到的挑战与如何克服

在研究中，最大的挑战是摆脱对相同的技术和相同的想法的依赖。重要的是不断问自己，你是否以最有创意的方式解决真正的问题。重要的是要走出流行的范例，找到解决问题的根本性的、新的、更好的方法。

处理应用层面的问题最大的挑战是，如果问题太简单，可能不会带来任何有趣的机器学习研究问题。相反，如果这个问题太难了，可能需要多年的工作才能取得进展。对于每一位个体研究者而言，大多数其在研究的机器学习问题在其博士生活期间可能难以解决。

您将在CCAI分享什么话题

我会讲“Robust Artificial Intelligence：Why and How”（为什么AI需要鲁棒性？怎样做到？）这个话题。我将首先讨论在高风险任务中部署人工智能系统时可能出现的工程和研究问题。然后，我将回顾近期关于创建可靠的AI系统的方法和研究，我相信这是目前爆发的应用人工智能市场所面临的最重要的课题。如果我们要拉新及留存用户，取得客户以及更广泛的社会的信任，我们需要确保我们的AI系统能够准确、安全、健壮地执行。我希望观众从我的演讲中受到启发，努力地解决这些问题，我的演讲将为他们自己的研究和工程努力提供一些起点。

7月22-23日，由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办，CSDN承办的2017中国人工智能大会（CCAI 2017）将于中国杭州举办，预计将有2000多位技术精英和专业人士参加此次盛会。本届CCAI由中国科学院院士谭铁牛、阿里巴巴技术委员会主席王坚、香港科技大学计算机系主任杨强、蚂蚁金服首席数据科学家漆远、南京大学教授周志华共同甄选本年度海内外最值得关注的学术进展。

维权声明：凡是机器人2025发布的文章都会找原文作者授权并给予白名单，若没有授权到的文章，如涉及版权等问题，请及时联系运营者（微信：xiaoejiqiren)我们将第一时间处理，谢谢！