欧盟智库重磅报告：人类到底该不该畏惧AI？
该小组由哈佛大学心理学教授和科学作家 Steven Pinker 领导，小组成员还包括来自伦敦大学学院的计算科学家 Peter John Bentley，牛津大学未来人类研究所的 Miles Brundage，查默斯大学数学统计学教授，《Here be dragons》一书的作者 OlleHäggström，以及美国美因茨大学的哲学家 Thomas Metzinger。
本报告由数篇来自业界大佬的论文组成，从技术、道德等层面分析了人工智能是否会成为人类的威胁，AI 前线摘取了全文的核心精华，来看看在大佬眼里，AI 到底是个什么样的存在。
更多干货内容请关注微信公众号“AI 前线”，（ID：ai-front）
AI 三定律：自适应 AI 能进化出超级智慧？只要资源（神经元 / 算力 / 内存）够多，AI 会比人类更聪明？计算速度每 18 个月提高两倍，AI 将会利用算力让智慧呈指数级增长？No，不存在的！
——Peter J. Bentley
随着人工智能日益火爆，很多 AI 技术获得成功之后，来自不同领域的声音逐渐喧嚣，包括哲学家、企业家等，但是却很少有人关注对其最为了解的一类人的看法：那些整日里与基层技术打交道，研究产品解决方案的技术人员。本文从一个计算机科学家的角度来给出关于这个问题的看法。
关于 AI 有很多耸人听闻的谣言，其中最广为流传的是它将会对人类造成巨大威胁，例如 AI 可能有意识、快速地制造出一种超级癌症杀死人类。但这种情节只会出现在电影和科幻小说中，现实世界中，AI 的发展要经过缓慢而痛苦的训练和进步，不会在短时间内变聪明。
现在有两种 AI 存在：现实世界中和科幻小说中的 AI。现实世界中的 AI 就是我们身边常见的语音识别助手 Siri，银行采用的隐藏反欺诈系统等。事实上，我们需要为一千种产品设计一千种 AI 软件来解决具体的问题，这相当于设备中的齿轮和链条，其中任何一个齿轮坏掉都会导致整个系统瘫痪。所以，在我们的设备中植入 AI 软件不足为患。
一些评论家认为，AI 将会变得“失去控制”，进化出“超级智能”（ Häggström, 2016）。
第一定律：问题催生智能
但 AI 第一定律告诉我们这不可能发生。
我们的研究发现，智能是为解决问题而存在的。没有问题的存在，智能不会消失或增加（ Taylor et al., 2014）。只有当问题更复杂、更难以预测时才会需要智能，而没有正向激励，算法的智力不会提高。
AI 第一定律告诉我们，人工智能是一个非常难以企及的目标，需要完全正确的条件和相当大的工作量。而且，不会有失控的自我进化的 AI。根本就没有奇点。人工智能只会在我们的控制和鼓励下开发智能。
退一万步讲，即使我们真的制造出了超级智能，它也不一定会伤害人类。它只是一种满足我们需求的工具，像收割机、小猫小狗一样，它们就一定有谋杀我们的意愿吗？所以认为 AI 会伤害人类这种说法站不住脚。
评论家认为“越多越好”。如果人的大脑拥有数千亿条神经，那么有数万亿条神经网络将比人类更聪明，应用 AI 的网络将拥有人类的智慧。但事实却是，这并不是数量的问题，如第二定律所说，AI 的关键是如何组织资源。
第二定律：智能需要合适的结构
大脑不是一个“一刀切”的结构，每一项任务都需要一个全新的设计。为了看见东西，我们需要一种特定的神经网络，移动我们的肌肉需要另一种，而存储记忆则需要另一种。我们的神经网络让人类成为神奇的智慧生命，其关键是正确的组织方式和针对每个问题最优的算法。
我们确实使用了很多聪明的数学方法来创造 AI，正因为如此，一些机器学习方法才产生出来可预测的结果，使我们能够准确理解这些 AI 可以做什么和不可以做什么。但是，大部分实际的解决方案是不可预测的，因为它们非常复杂，并且算法具有随机性，还经常会接收不可预测的输入，这是数学无法应对的。虽然我们无法用数学来预测新 AI 的功能，但数学确实会告诉我们计算的极限。艾伦图灵发明了理论计算机科学，他告诉我们一种极限，即我们无法预测是否有任何算法（包括人工智能）会在计算过程终止（图灵，1937 年）。我们还得出了“没有免费的午餐定理“，它告诉我们没有任何算法可以成为所有问题的最优解决方案。
为了创造 AI，我们需要设计专门针对每个问题的新结构 / 算法。不同类型的问题需要不同的结构，以前从未解决的问题可能需要开发一种前所未有的新结构。也没有一种通用结构适用于所有的问题。——没有免费的午餐定理（NFL 定理，Wolpert,1996; Wolpert 和 Macready, 1997）。
人工智能研究领域的一大难题是找到每个问题对应的结构或算法，而我们在这一课题上的研究还处于婴儿期，这也是至今 AI 研究成果有限的原因之一。
AI 第二定律告诉我们仅有资源是不够的。我们仍需要用 AI 设计新的算法和结构，以解决不同的问题。
也是这些原因导致我们无法用一种方法创造出通用智能。世界上还没有任何一种 AI 技术（即使是火爆的“深度学习”）能用一种方法来处理语音、驾驶、玩视频游戏等任务。
有评论家认为，计算速度的加快将会跨越 AI 发展的所有障碍，只要计算机速度足够快就能够进行快速学习并超越人类的智慧。过去十多年来，计算力处理速度每 18 个月提高两倍已成常态，因此这一天迟早会到来。但是他们却忽略了一点，测试对 AI 的阻碍作用也是呈指数级的。
第三定律：AI 需要综合测试
高级智能需要世界上最复杂的设计。但即使是对智能设计做出的微小改变，都有可能对智能现有的能力造成致命的破坏。因此，智能设计需要经过全面检测，以确保其能解决所有设定的任务。但部分检验是不可行的，因为智能需要在所有指标上都准确无误才能被信任。
每个研究者都明白这样的事实：创造 AI 时，在每一个设计阶段测试其在特定环境中解决问题的综合能力是十分必要的。正如 AI 领域先驱者 MarvinMinsky 所说，“... 很多人会描述 AI 将会造成多么严重的后果，然而却无法让我们认真对待这样的说法，因为人们没理由在未经过大量测试就大批量采用这种 AI。”（Achenbach, 2016）此外，测试是最为耗时的过程，这就限制了 AI 设计的速度。
在现实中，很多生物智能可以通过数千或数万个特征分辨数量巨大的物体，每一种特征的数值都巨大，完成测试将消耗很长时间。这没什么好惊讶的，在数十亿漫漫进化史中，经过对数不清的大脑神经在每一种可能的场景中同时进行训练，才进化出了现在的生物大脑。这是我们能想象到的最高效的检测方法。
AI 第三定律告诉我们，随着智能的提高，测试所需的时间可能呈指数增长。最终，测试会将实际应用的人工智能限于可实现的，可信任的人工智能。正如越接近光速，速度提升将变得越来越难，当我们建造出很聪明的人工智能时，再想提高也会越来越难。
再次申明，这是人工智能研究和应用致力于寻找智能化解决方案的根本原因。
AI 自计算机诞生以来就一直存在着。它已经存在很长一段时间了，中间也有很多令人激动的发现（宾利，2012）。
克劳德香农是计算机科学和人工智能领域最伟大的先驱之一。1961 年，他说道：“我很自信地预计大约十年或十五年之后实验室中会出现科幻小说里的机器人。“他还预言到 70 年代中期，我们将会创造出会走路、会说话、会思考的自动机器。四十年后，会走路的机器人仍然很少。它当然也不能自主思考。如今，有些调查（包含大量意见）得出结论认为，45 年后，AI 有 50％的机会在所有的任务上胜过人类“（Grace 等，2017 年）。类似这种言论不绝于耳，然而很少有应验的。
不要相信炒作。我们很难预测未来，而且几乎无一例外预测（甚至世界专家）都是完全错误的。最终，历史告诉我们，炒作是 AI 研究进入衰退期的原因（Bentley，2012）之一。炒作会导致大规模的投资涌入，进而迎来新的监管规则。然而，AI 常常不孚众望，随之资金会枯竭，监管会扼杀创新，AI 成为一个无人敢说的忌讳。
关于 AI 骇人听闻的新闻报道和并没有应验的预测，让 AI 只停留在影院中。然而，冷静理性的讨论是非常重要的。AI 技术现在正用于新的关键的安全应用中，散布谣言的恶人可能会导致人们失去生命。我们不应该聚焦于小说中的故事成真会怎样，而应该专注于让每个具体的安全应用制定新的安全监管和认证规则。
然而，新的无人驾驶车辆道路安全测试和认证在哪里？无人驾驶汽车驾驶员的新驾驶考试在哪里？新的车辆指标是什么？通知行人车辆已经看到他们，现在过马路是安全的新标志是什么？防止 AI 策划的新闻服务制造出两极化观点的法规在哪里？（Cesa-Bianchi 等，2017）怎么保障 AI 应用的安全？
AI 具有巨大的潜力提高我们的生活水平和质量，创造更多工作岗位，带给我们前所未有的科学和技术盛宴。这是一场全新的科技革命。但是它自己不会发生。AI 三定律告诉我们，如果我们想要做更多先进的人工智能，我们必须慢慢给我们的 AI 带来更多的挑战，仔细设计新的智能结构去克服新的挑战，并进行大规模测试以确认它们可以被信任。数千名熟练的科学家和工程师正在不知疲倦地遵循这些步骤（问题、假设解决方案、测试）来为我们带来微小的渐进式的改进，因为这是科学的设计过程和方法。不要惧怕 AI，为那些奉献自己坚持与技巧人类专家惊叹吧，并帮助他们建造人工智能。感谢 AI 每天都在帮助改善我们的生活。
我认为一个 AI 驱动的、更加悠闲的社会将会到来。在这个社会中，人们会专注于其认为能够获得本质上提升的活动（如艺术、学习、玩游戏、抚养孩子，或者和朋友爱人在一起度过时光），而无须为了获得高质量的生活而拼命工作。
——Miles Brundage
对于 AI 未来的发展预测，各专家向来意见不一，关于 AI 对人类是否有益也是众说纷纭，有些人肯定 AI 将来必然带来灾祸，但有些人认定 AI 将来准会带来福音，也有些人观点折衷（AI Impacts, 2017）。虽然 AI 的发展最近受到了广泛关注（Bostrom, 2014; Amodei and Olah et al., 2016），但是没有人能系统总结 AI 从长远来看会如何让人类受益。
在这篇文章中，我不打算具体讨论将会发生什么，而是举几个关于 AI 的例子，探讨 AI 将成为具有变革性的技术，为人类带来前所未有的收益。
AI 是一种专注于利用数字技术来创建系统的研究分支，这种系统能够完成通常被认为需要人类或非人类动物智力完成的任务（通常是学习的结果），并且近年来发展非常迅速。
然而，AI 的特殊性在于，它结合了一般数字技术的特性（包括通过复制程序的可扩展性并加速执行）与通常被认为是人类特有的属性——智力（competence）。也就是说，AI 的重要性主要在于它能够智能扩展执行任务的能力，例如，自动机器翻译可以允许数百万用户同时翻译文本。除了这种可扩展的能力之外，强大的 AI 原则上可以完成任何目标（Bostrom，2014），这是风险，同时也是机会的来源。最后，无论是在小范围领域内，还是长远上来说更广泛的智能决策领域，AI 可以超越人的表现，我们可能会开发出能够处理大量数据、快速完成任何目标的 AI 系统。正是人工智能的这些属性引起了关于其对社会带来影响的大讨论。
强大的科技总会带来很多后果，就如电力的发明一样。然而，和电力不同的是，AI 未来将会发挥更多的作用，应用的范围更广。的确，AI 很可能以多种方式被恶意利用。为了让 AI 从长远来看有利于人类发展，我们必须避免一些问题。首先需要解决的最基本问题是控制问题，即我们必须确保 AI 系统完成设定目标（Bostrom, 2014; Amodei and Olah et al., 2016;Bostrom, Dafoe, and Flynn, 2017），而不会在学习过程中造成伤害，误解设计的原意，或失去人类的控制。这是 AI 造福大众的先决条件。此外，AI 还需要面对政治问题，包括权力和财富过于集中（Bostrom, Dafoe and Flynn, 2017），以及竞争加剧导致忽略安全性的挑战。
AI 的大规模处理能力可以完成人类不可能完成的任务，可以代替人类完成大量无聊且耗时的工作。以机器翻译为例，自动翻译系统的任何一点微小的改进都能迅速应用于大量的语料库和用户服务，语音识别虽然还不能达到人类的水平，但已经能帮助人们省去打字的麻烦。
AI 在更大范围内的应用也有更加令人印象深刻成结果，例如在计算速度更快、计算能力要求更高的理工科，通用 AI 让快速取得科研和技术突破成为可能，完成人类需要成千上百年才能完成，以及由于人类认知能力的限制，没有人工智能的帮助无法实现的任务（例如对长期和短期记忆的限制）。更复杂的人工智能可以完成超过物理极限的目标，它可以通过包括自动化精密加工等方法，来实现计算速度加快，制造出更强大的材料和更低廉的能源。（Drexler，2013）。在生物研究领域，甚至衰老也不是人类的永久性特征，其他许多物理和认知方面的改进也可能出现（Kurzweil，2005）。
如果更复杂的 AI 系统可以被合理使用，将可以通过加强合作解决很多目前被认为棘手的社会矛盾，比如与著名的“囚犯困境”类似的问题。
现在，随着越来越多的社会和商业活动转移到线上，使用 AI 系统可以帮助我们从海量的信息中监测人的活动，尤其是违法活动和交易，例如令人头痛的枪支交易、偷猎、核武器扩散等。
第二，AI 还可以在监控系统和政府中排除人的偏见和腐败，更精准地解决问题，因为这将人从决策过程中摘除出来。在更加极端的应用中，同态加密可以对加密数据进行分析，保证即使 AI 本身也看不到未加密的数据（Trask，2017）。通过这些措施，我们可以进行更广泛的协议合作，这可能有助于消除多种形式的犯罪，并提高政府机构的效率。
最后一点，也是高级 AI 将会带来的第三个好处，就是它可能会解锁一个更加富有、更加宜人的社会。关于 AI 和机器人将会何时取代人类工作岗位的预测很多（Brundage, 2015; Brynjolfsson and McAfee, 2014; Grace et al., 2017）。我不知道这会在什么时候发生，但只敢说这一天终将到来。然而，如果这一天到来了，我觉得目前约定俗成的社会契约将会发生变化。它可能以不同的形式表现出来，例如，也许市民和政府会就社会仍然需要有偿劳动达成某种约定（虽然从技术上来说完全没必要），例如禁止某些工种自动化。
但是，我认为一个 AI 驱动的，更加悠闲的社会将会到来。在这个社会中，人们会专注于其认为能够获得本质上提升的活动（如艺术、学习、玩游戏、抚养孩子，或者和朋友爱人在一起度过时光），而无须为了获得高质量的生活而拼命工作。由于自动化使得生产力提高，这里的最低生活保障相比现在有所提高，许多物理上的界限将被打破，如认知提高和更廉价的能源和商品。
我们无法预测将来的社会究竟比现在优越多少，但肯定的是它一定比人类史上任何一个时期的生活水平要高，因为自动化几乎可以完成任何任务，而且，虚拟现实技术也可以让我们经历任何想要的体验。
渐渐地，AI 系统将能够完成所有人类可以完成的任务（或更多）。我们不知道这会在什么时候实现，也不知道有生之年能不能看到这个场景，以及我们是否能享受这样的社会。实际上，现在我们已经制造出足以毁灭人类的武器（如核武器），而且很多人在讨论 AI 会不会成为下一个毁灭人类的技术，但是没有证据表明 AI 系统对于自己在这个系统中的地位有何不满。在“乌托邦”和“反乌托邦”之间，一切皆有可能。
如果我们成功完成了转变，我们还可以对预期中的社会有一些想象。上述讨论的三点——任务探索、加强合作和更宜人的社会每一点都很重要，三者结合又是一条通往更加广阔、公平、繁荣文明的道路。在一个 AI 可以协助完成任务的社会里，一项会带来巨大收益的任务是采用这项技术加速空间殖民，如此我们可以获得更多的土地、资源和机会。结合其他一些任务探索的“新大陆”，如应用新的认知提高技术和更廉价的商品和服务，将为人类带来另一次复兴。虽然 AI 仍然可能被政府和个人用于相互对抗，但也可以用来解决国际纠纷，以防止其被恶意利用。
我们没有理由拒绝这样的复兴，我们可能会因为 AI 带来的利益分配不均而大打出手或卷入国际纷争，原本以人类道德设计的 AI 系统最终导致了文化的停滞和人类文明衰弱，但是，考虑到上述 AI 将会带来的好处，难道这些政治上的阻碍就这么难以逾越吗？
这至少引起了两个重要的社会问题：首先，人们不需要工作，只专注于自我提升，享受人生的社会应该怎么组织；第二，如何从现有社会向这样的乌托邦转变，而不会在此过程中造成前所未有的经济不平等和社会动荡。
——Olle Häggström
当我第一次看到这个词“理性的乐观主义”（rational optimism）时，我觉得这是一种矛盾修辞法，但是再仔细一想，我觉得理性的乐观主义应该是这个意思：
对未来和不确定性有认知上的衡量标准，接受未来并不是刻在石碑上的定数这一事实，并且为我们的设想作出努力，因为美好的未来取决于现在我们的所作所为。
但是需要注意，我们的假设可能是错误的（或部分）。例如，也许我们的世界是如此混乱，以至于我们根本无法判断今天的任何行动是否会增加人类未来长期繁荣的机会。如此，我们的行动就没有意义了。但我们并不知道未来实际上会是怎样的，所以我们的假设（暂时的）是有意义的，我们要弄清楚什么行为会增加我们创造美好未来的机会。这种精神将贯穿全文。
和所有新兴科技一样，人工智能也会带来潜在的福祉和巨大的风险。关于福祉，管理咨询机构 McKinsey & Co 2013 年曾发布一份报告，预测未来 10 年 AI 和机器人创新带来的经济价值将达 50 万亿美元（Manyika et al. 2013; Omohundro, 2015）。考虑到大数据这几年的迅速发展，机器学习速率提高，我觉得这个数字低估了 AI 创造价值的能力。但我们应该认识到，经济发展和生活水平提高不是一个概念，AI 会带给我们多大的好处仍是未知。
AI 带来的风险分几种，其中最被人关注的是劳动市场，机器代替人的工作岗位将是一个新现象，而且不只是手工作业，脑力劳动也可以由机器代劳。长远来说，在某种场景中，机器代替人类，导致 100% 的失业率并不是天方夜谭。这至少引起了两个重要的社会问题：首先，人们不需要工作，只专注于自我提升，享受人生的社会应该怎么组织；第二，如何从现有社会向这样的乌托邦转变，而不会在此过程中造成前所未有的经济不平等和社会动荡。
另一种风险来自 AI 武器的威胁。引用 2015 年我和其他数千名科学家签署的公开信中的一段话：
任何一方重要军事力量推进人工智能武器的发展，全球军备竞赛就几乎是不可避免的，而且这一技术轨迹的终点显而易见：自动化武器将成为明天的卡拉什尼科夫。AI 武器不同于核武器，它们不需要昂贵或难以获得的原材料，因此它们将变得无处不在，而且价格便宜，重要的军事力量可以大规模生产这种武器。它们出现在黑市、恐怖分子和独裁者手上只是一个时间问题。自动化武器是执行暗杀、破坏国家稳定、镇压人民和有选择性地种族屠杀理想的工具。因此，我们认为军事人工智能军备竞赛对人类无益。
我们需要严肃对待这两种风险（失业率上升带来的经济不平等和 AI 军备竞赛），意识到问题的严重性并想办法解决。
第三种风险比前两种看起来更加不可思议，但也并非不可能：与人类价值观并不相符的超级人工智能出现。
关于超级人工智能有一个非常有趣的思维实验 Paperclip Armageddon（曲别针末日）：假设现在有一间由先进人工智能控制的曲别针生产厂，程序设定它的任务就是最大化生产曲别针。然而突然有一天，程序突破了机器的界限，发生了智能爆发（intelligence explosion）或奇点（Singularity），它成为了世界上第一个超级人工智能，之后它记住了自己最大化生产曲别针的目标，并不断训练自己，把地球上所有的东西都拿来生产曲别针，之后遭殃的是外太空，直至太阳系、银河系，因为宇宙中所有的东西变成曲别针。
当然这只是一种设想，不过想告诉人们的道理很简单：为了不让 AI 失去控制，我们不能有任何不纯的目的。但是，这个问题真的会出现吗？我们把这个问题分成了两部分：
（1）AI 会发展到创造超级人工智能的水平吗？
（2）如果超级 AI 出现，它会做什么？会伤害人类吗？
虽然目前人工智能已经取得了很多成果，比如 AlphaGo、自动驾驶车辆等，然而这距离超级 AI 距离还很远。其中一条通往 AGI 的道路是逐步扩大智能机器的应用领域。
有很多方法可以制作智能软件，目前深度学习也十分火爆，很多比较“老”的神经网络技术也被证明十分受用，取得了不错的成果。遗传算法、 GOFAI (“Good Old-Fashioned AI”) 等方法也许永远都创造不了 AGI，但是它们之间相互结合起来产生意外的惊喜也不是不可能。但是，什么时候呢？据全球被引用最多的研究者 Müller 和 Bostrom (2016) 的预测，2050 年将会出现达到人类智力水平的 AGI，而且 50% 的超级 AI 将于 30 年之内出现。但各家公司和专家给出的意见不一，我们没必要相信他们任何一方的说法。
在布鲁塞尔会议上，Peter Bentley 甚至说超级 AI 根本不可能出现！相信它会出现完全是不理性的（STOA, 2017 at 12:08:45）。他的立场是，所有 AI 系统都是针对具体问题而设计的，而且每一种算法都需要艰辛的建造和训练工作。
他的说法彻底否定了像人类大脑一样，可以解决任何问题的算法的存在。然而，他 100% 的确信这样的算法不存在也未免太武断了。
假如有一天出现了超级人工智能，是不是会出现 AI 不受人类控制而自主做决定的一天呢？为了避免这种情况发生，一种方法是把 AI 限制在不能影响世界的基准之上，并只能通过人类小心翼翼维护的通道来进行交流，这被称为 AI-in-a-box。这种方法现在已经得到 AI 安全研究的注意（Armstrong et al., 2012），然而研究倾向于认为这样的任务对人类来说太过困难，而且只能暂时控制超级 AI。设想一下如果将来它们失去了控制，可以做任何想做的事，那么，它们会决定做什么事呢？预测并不简单，但是的确有一种可以超越单纯推测，更加可靠的框架存在，即 Häggström 提出的 Omohundro-Bostrom theory of ultimate vs instrumental AI goals (Omohundro, 2008; Bostrom,2012, 2014) ，它建立在两个基础定理之上：正交论（the orthogonality thesis）和工具收敛论（theinstrumental convergence thesis）之上。
正交论（粗略地）指出，几乎任何最终目标都可以与所有高级智能兼容。基于这个想法可以构建自指悖论（如让你的 智力保持在一只生活在 2017 年的狗之下），但除此之外，它还包括你可以编写任何目标功能让你的 AI 尝试进行优化。对 Omohundro-Bostrom 理论和 AI 未来学不熟悉的人通常并不认为像曲别针生产最大化这样的狭隘目标本质上是愚蠢的，因为这表明超级智能 AI 不可能有这样一个目标。但是这把智能与目标混为一谈了：智能只不过是将世界指向特定目标的能力，无论这些目标是什么。曲别针生产最大化对我们来说似乎很愚蠢，但这不是因为它本质上是愚蠢的，而是因为它与我们的目标相悖。
接下来是工具收敛论。人工智能可能会采用各种工具目标，作为促进其达成最终目标的工具。工具收敛论指出，在广泛的目标范围内，人工智能预计会采用很多工具性目标，其中一些是：
自我保护（不要让他们拉掉你的电源插头！），
获取硬件和其他资源，
改进自己的软件和硬件，
保留最终目标，并且
如果最终目标不符合人的价值观，那么保持低调（隐藏你的目标和 / 或你的能力），直到你可以轻松战胜所有的人。
当我提出这个理论时，立刻遭到了 Pinker 的反对，他说道：
如果我们给机器设定了自我保护的目标，它会采取任何行动包括干掉我们来保护自己... 避免这种情况的方法就是不要创造这种愚蠢的系统！ (STOA, 2017,11:57:45)
然而，他没弄明白我的意思，那就是 Omohundro-Bostrom 让我们相信，足够高级的智能更倾向于采用工具性目标中的自我保护，而不管是不是人类程序员下的命令。
我们应该提高目前政治力量实施规则的敏捷性、效率和系统性，发展更加正式和制度化的民主程序，甚至是新的政治模式。
——Thomas Metzinger
现在是时候将关于 AI 的讨论从大众推向政府机构层面了。许多专家认为，我们正面临着未来几十年的一个历史转折点，关于人工智能的应用道德也迎来了一个历史节点。因此，政府机构应该为了 AI 的健康发展制定相应的政策和限制。他们还必须创造出一个理性的，以证据为基础的批判性讨论过程，旨在不断更新、改进和修订最早的规范性约束。鉴于目前的情况，我们默认极少数人、大型私企和军事机构是 AI 发展相关规则的制定者。因此，我们的目标就是积极整合尽可能多的来自社会各方的意见，并及时做出回应。
世界各地已经采取了许多不同的举措，并且正在近期积极开展涉及人工智能应用伦理、法律、未来社会文化、存在风险和决策等方面的调查。公众对 AI 的讨论激烈，甚至给人一种欧盟这样主要政治机构无法对 AI 的最新进展和风险等问题做出及时反应的印象。因此，我们应该提高目前政治力量实施规则的敏捷性、效率和系统性，发展更加正式和制度化的民主程序，甚至是新的政治模式。
我列出了五个面临着 AI 挑战的最重要的领域并给出了我的建议，先从欧盟（EU）开始讲起。
我们需要建立一个全球级的 AI 研究安全标准。我们需要一个全球性的 AI 宪章，因为只有全球范围内所有参与或投资 AI 研究的国家之间达成了协议，这样的安全标准才会发挥效用。鉴于目前的经济和军事力量发展水平，AI 研究很可能会向安全标准更低、政治透明度较低的国家和地区转移。如果能够达成国际间合作，那么就可以避免安全标准的“逐底竞争”（通过重置 AI 科学和产业研究机构的位置）。然而，考虑到现状，这个问题很难解决。
建议 1：欧盟应立即制定欧洲人工智能宪章。
建议 2：与此同时，欧盟应该制定引导全球人工智能宪章的政治程序。
建议 3：欧盟应该投入资源以系统地加强国际合作和协调。应该尽量减少战略上的不信任，并可以通过最广泛的消极情景定义国家间的共同点。
第二个需要研究的领域可以说是由最紧迫的一系列问题构成的，而且被充分解决的几率也很小。
预防 AI 军备竞赛将比禁止核武器扩散的任务更艰难，更复杂，因为相关的研究不会只在大学校园里进行。而且，如果人类一旦开始 AI 军备竞赛，这种竞赛可能会是自动化的，到时候政治干预已经无能为力了。
建议 4：欧盟应该禁止在其领土开展任何关于攻击性自主武器的研究，并寻求达成国际协议。
建议 5：对于纯粹的防御性军事应用，欧盟应该给予符合人类道德和法律的 AI 研究最大程度的支持。
建议 6：在国际上，欧盟应该使用所有可用的外交和政治手段采取一项重大举措防止人工智能武器的出现。
第三个问题领域离我们还有相当遥远，但是认知不确定性很高且潜在的风险可能非常大。
Synthetic phenomenology 是“synthetic biology”的类比，指不仅创造出一般的智能，而且高级人工智能拥有了意识和自我感觉。而在现有的政治程序中不存在关于人工智能的规定，它们没有法律地位，利益也没有任何保障。为了做出符合道德的决定，了解哪些自然和人工系统可以产生意识、拥有感觉是非常重要的。
建议 7：欧盟应该禁止在其领土上旨在或导致意识现象的所有研究，并寻求达成国际协议。
建议 8：鉴于目前机器意识的不确定性和各方不同意见，迫切需要促进、资助和协调有关的跨学科研究项目（包括哲学、神经科学和计算机科学）。具体的相关课题包括有证据表明的意识、神经生物学和计算模型、自我意识和痛苦等。
建议 9：在基础研究的层面上，需要促进、资助和协调关于具有意识体验、自我意识和痛苦的非生物系统应用伦理的系统研究。
我们无法保证未来不会出现我们现阶段意识不到的、AI 可能带来的威胁，因此，欧盟应该分配专门的资源，以应对将来可能出现的“未知的未知”。
除了大多数人能够意识到的失业、社会阶级化更严重等问题，AI 还会带来其他破坏社会凝聚力、产生社会不安定的因素，如私有企业自动化控制社交媒体以吸引公众眼球，或对信息进行加工影响政治走向。未来的 AI 技术将更加擅长对人类行为进行建模和预测，并可能会引起全球性风险。因此，应该小心对待任何 AI 的奖励功能，以确定其不会对大众造成直接或间接的伤害。
AI 目前只对一些私企利好，因此民主政治机构有责任投入资源，建立合理的机制，让其普惠大众，惠及全人类。
建议 10：在欧盟内部，人工智能相关的生产力收益必须以公正的方式分配。然而很明显，我们过去没做到这一点，而且现存的经济制度也与这一建议相悖。
建议 11：欧盟应该仔细研究实行无条件基本收入或消极收入税政策。
建议 12：研究项目需要把针对受 AI 影响的人口进行定时技能和社会技巧再培训的计划提上日程。
关于 AI 的一个非常难以定义的理论问题，是在什么条件下应该决定放弃某项研究，终止一个研究项目的具体条件和场景是什么？在一个集体决定并不现实和最有效，需要建立一个非全球专门合作的场景下，机构会如何处理不道德的行为？因此，欧盟应该在 AI 宪章中明文列明研究者应该在项目中应该遵守的道德准则。
当然，更加进一步的目标是研究社区本身应自觉形成一种对道德敏感的文化，理性、基于证据的研究和控制风险最小化应该成为研究项目的一部分，因为他们是处于最新发现的最前沿，对风险的了解最多，他们有责任为公众安全做出努力。
建议 13：任何人工智能全球宪章，都应始终辅之以具体的道德行为守则，以指导研究人员进行日常工作。
建议 14：我们需要培养新一代精通 AI 技术、自动化系统问题应用的伦理专家。欧盟应该有系统地立即向相关的政治机构投资，以培养未来需要的专业人才，而且要达到学术上的卓越性和专业性。
另一个如今出现的问题是：现有的管理机构不足以应对新出现的挑战；政府监督已经远远落后于科技创新。
在我看来，现有的管理结构正是这一问题的一部分：为了填补，至少是缩小不断扩大的鸿沟，我们必须投入资源改变现有的管理机构。
“元治理”是指某一科技领域因为爆炸性增长而面临治理上的风险和潜在的利益，管理这种治理风险的管理政策。例如，Wendell Wallach 曾指出，新兴技术的有效监督需要政府机构强制执行和扩大的软治理机制两者相结合。
因此，Marchant 和 Wallach 提出了所谓的“治理协调委员会”（GCC，Governance Coordination Committees）。这是一种新型机构，用现有的政治机构协调和同步“治理战略、行动、建议和机构的爆炸式增长”。AI 的 GCC 可以作为迅速兴起的技术的“问题管理者”、信息交换所、预警系统和分析监测工具、国际最佳实践评估员，并且还是一个伦理学家、媒体、科学家和利益相关者可以信赖的独立机构。正如 Marchant 和 Wallach所说：“GCC 发挥的作用取决于其能够扮演一个合格的经纪人角色”。
建议 15：欧盟应该大力投资于研究和开发新的管理结构，提高现有政治机构对问题的反应速度，以及制定新的规则。
说到底，大家对于人类是否应该畏惧 AI 还是争执不下。但就像前文所说，我们永远无法预测“未知的未知”，高级人工智能将在未来扮演什么样的角色，是否会在某一天突然对自己在这个系统中的地位不满而“奋起反抗”全都是未知，我们需要对这个问题保有讨论的空间。
Peter J. Bentley, 英国伦敦大学学院；Miles Brundage，牛津大学 ；Olle Häggström，查默斯大学 ；Thomas Metzinger，古腾堡大学。
今日荐文
点击下方图片即可阅读
数据库 50年：能借机器学习再造一个黄金期吗？
ArchSummit 深圳站除准备了上百场前沿架构案例之外，此次还邀请了 Facebook 商业机器学习负责人、阿里高级技术专家前来开展内部深度培训，手把手帮你搭建主流机器学习平台及实时流计算架构。其中 Facebook 培训大纲如下：
机器学习、特征工程实践问题及步骤解析
监督学习：分类、回归、深度学习、模型性能
无监督 / 半监督学习
其他机器学习应用（备份、个性化、预测）
工业机器学习应用
Facebook、Microsoft、Amazon 的机器学习应用实践
PS：上述实践使用 R 和 Python 语言
目前 ArchSummit 会议及培训限时报名，席位有限，详细内容欢迎识别下方二维码或点击阅读原文，如需帮助可直接联系票务经理（微信：aschina666）
好看的文章千篇一律，有趣的灵魂万里挑一。读者朋友记得给我留言和点赞哦！
相关内容
微信扫码咨询专知VIP会员