“机器行为学”正式诞生！MIT、哈佛等23位作者Nature长文综述

---

  新智元推荐  

来源：Nature

编译：集智俱乐部翻译组(ID: swarma_org)

【新智元导读】由MIT媒体实验室领衔，哈佛、耶鲁、马普所等院所和微软、谷歌、脸书等公司的多位研究者参与的课题组，近日在 Nature 发表了一篇以 “Machine behaviour” 为题的综述文章，宣告 “机器行为学” 这门跨越多个研究领域的新兴学科正式诞生。

人工智能正在成为人类社会的重要组成部分，大量人机伦理问题正在被提出和解决，科学家们正在像研究人类和动物行为那样，深入研究机器和机器群体的宏观行为规律。

由麻省理工学院媒体实验室研究人员领衔，哈佛、耶鲁、马普所等院所和微软、谷歌、脸书等公司的多位研究者参与的课题组，近日在 Nature 发表了一篇以 “Machine behaviour” 为题的综述文章，宣告 “机器行为学” 这门跨越多个研究领域的新兴学科正式诞生。本文约 12000 字。

目录

一、 研究机器行为的动机

二、 机器行为学的跨学科研究

三、 研究对象与研究问题

四、 三种研究范围：个体、群集与人机交互

五、 展望：机器行为学将如何发展？

由人工智能驱动的机器正不断塑造着我们与媒体、社会、文化、经济、政治的互动。了解人工智能系统的行为是应用时扬长避短的基础，因此有必要把机器行为学（Machine behaviour）的研究范围从计算机学科扩大，融合各个学科的见解。本文首先总览了一系列关于机器行为学这个新兴学科的基础问题，随后探索了在这个学科上技术、法律和制度带来的研究限制。

诺贝尔奖得主 Herbert Simon 在 1969 年发表了一本人工智能发展史上里程碑式的著作 ——《人工科学》（ The Sciences of the Artificial），其中他写到：“自然科学是关于自然物体与现象的知识。我们想知道是不是有一种‘人工’科学，研究人造物和它们的现象。”

人工智能先驱 Herbert Simon 及其著作 The Sciences of the Artificial

和 Simon 的思想一致，我们这样描述一个新兴的交叉学科：这个学科研究智能机器，但是并不是从工程机器的角度去理解它们，而是将其视为一系列有自己行为模式及生态反应的个体。

这个领域与计算机和机器人学科有关联性，但是又相互独立。从经验的角度去解释智能机器的行为，类似于结合了生命内部特质（生理和生化特质）与外部环境塑造的特质（生态与进化）的行为生态学和动物行为学研究。要想完整研究动物的行为和人类的行为，周围的环境背景必须也被考虑进去。相似的，要想完全了解机器的行为，我们也得考虑算法以及算法所在的社会环境。

现在，研究这些虚拟的或者嵌入式的人工智能体（artificial intelligence (AI) agents）的行为的科学家基本上是那批创造它们的人本身。当科学家创造这些智能体来解决他们的问题时，他们通常会致力于保证这些算法能满足他们需要的功能。

从始至终，我们用人工智能体（AI agents）这个术语来描述用于决策或繁或简的算法。

例如，在分类、面部识别、视觉识别领域的智能体，应当满足一个标准的精度要求。自动驾驶车应当在一系列设定的天气情况下都能成功导航。玩游戏的智能体应当能够击败一系列设定的人类和机器对手。数据挖掘智能体应当能够了解应该在推广竞选和社交媒体中该锁定哪几个目标。这些例子只是相关领域的一小部分。

这些人工智能体正在各个方面扩展人类的福利，但是现在关于人工智能体行为的更广泛的考虑让问题多出几分批判性的思考。

人工智能将会越来越多的融入我们的社会中。它们已经被应用在诸如信用评估、算法交易、地方治安、假释决定、自动驾驶、在线约会、无人机战争中了。认知系统工程、人机交互、人类因素、科学、技术、社会、安全工程等不同领域来的学者和思想家探讨人工智能体那些超出创造者预期的，既包括正面也包括负面的预测行为及后续后果，为我们敲响了警钟。

除了缺乏围绕 AI 可能带来影响的预期，结合不断增加的机器替代原本直接由人类承担的工作的现状，因缺乏人类监管而造成的潜在危害是另一个令专家们惧怕的事情。同时，研究者也称人工智能体可以通过帮助和增强人类决策能力的方式扩大社会福利。虽然关于这些事情的讨论导致在不同的领域产生了新见解，在自治系统（autonomous systems）等上仍有很多安全性方面的挑战，比如公平性、义务、透明性等方面。

ACM 公平、义务与透明性专题会议：

https://fatconference.org/

这篇综述将介绍这一新兴交叉学科：机器行为学（Machine behaviour），主要研究智能机器所表现出的行为。

在这里，我们给出关键研究主题、问题和里程碑研究的大纲作为此门学科的例证。我们首先给出了机器行为学和这门学科必然具有的交叉学科特质，然后我们提供了研究这门学科的概念化框架。我们用加大机器与人 - 机生态学科研究的呼吁与学科的技术、法律、机构上的研究障碍的讨论来结束这篇综述。

机器行为学来自多个学科的交叉、融合

一、 研究机器行为学的动机

机器行为学的研究动机有三：

• 首先，很多在我们的生活中被运行的算法正起到越来越重要的角色；

• 其次，因为不光是这些算法，还有算法运行的环境的复杂特质，光依靠分析手段是很难了解它们的行为的；

• 另外，智能算法的广泛存在和复杂性给预测算法对人类潜在的或正或负的影响带来了挑战。

无处不在的算法

如今，多种多样算法正在社会中前所未有得的广泛应用；新闻排名算法和社交媒体机器人影响人民所听所看的信息。信评分算法会影响银行贷决策。在线定价算法给不同的用户定价，算法交易软件使得交易变得迅速。算法塑造了警务调度的派遣和空间格局，算法审判会影响刑事系统中犯人的服刑时间。自动驾驶车穿越我们的城市，共享交通算法会改变传统车辆的行驶模式。机器绘制家中的地图，对口头命令做出反应，执行常规的家务。

在线约会服务中，算法负责促成浪漫的相会。机器有可能更多得替代人类承担起照顾老人和小孩的工作。自治体正影响着我们的集体行为（collective behaviours），从群体层面的配合行为到共享行为。延伸一下，虽然发展自动武器是高度限制的，但不是所有人都不都这么想，如果这类武器被发明了，机器将在战争中决定人的生死。

在线约会服务中，算法匹配人的连接

算法的复杂性和不透明性

即便个别算法是相对简单的，研究像人工智能系统这样多样且广泛的对象的行为是件难以想象的困难事情。

• 输出难以解释

目前，单个人工智能体的复杂性已经很高，并且在持续增长，虽然构架它们的代码和训练模型用的训练可以简洁，但是训练后的模型就完全不会有这么简单了，这经常导致 “黑箱（black boxes）” 的产生。人工智能体接受输入，然后输出，但是即便在 “可解释性（interpretability）” 上的一些应用场景已经有了进展的现状下，人工智能体实际产生这些输出的过程是架构它们的科学家自己也难解释的。

• 数据集的收集与版权限制

此外，当系统从数据中学习，它们的失败通常被归结为数据本身或者数据收集上的谬误，导致一些关于改进数据收集机制的讨论。数据集的维度和数据量这一层面也增加了我们理解人工智能的难度。

更进一步使得这个问题棘手的现实是，很多在社会中使用频率最高的源代码、模型、数据集实际上是有版权的。为智慧资产而存在的工业保密政策和法律保护着这些源代码和模型。在很多场景下，公众只能观察到 AI 系统的输入和输出。

就算这些代码和模型对我们开源，我们也不太可能就由此能准确预测出这些模型的输出。人工智能体在和周围环境与其他智能单元相互作用的时候可以表现得很 “特立独行”。即便形成它的数学函数是存在解析解的，那这个解析解也会因为冗长复杂的结构而难解其意。

原论文图 1

算法于人类的利弊

无处不在的，日益复杂的算法，它们放大了人类估计和预测它们对个人和社会影响的难度。人工智能体正以意料之中和之外的方式塑造人类的行为和社会结果。

• 造福还是 “造乱”？这是个问题

如一些人工智能体被设计用来帮助孩子们，或是帮助老年人安全移动来造福人类。然而，如果这种用来造福人类的力量在” 意料之外的情况下 “偏离了初衷，就会出现类似孩子们被植入广告买特定产品，老年人被固定只能选择特定的电视节目等类似的情况。

此类算法对个体的正负面影响可以扩大到社会层面，这种危机感一直萦绕在我们心头。举个例子，不小心传播给一小部分人的政治误报可能在整个社会层面上掀不起什么风浪，但是，这些信息在社交媒体上的植入和扩张则会产生更恶劣的社会后果。更进一步说，关于算法公平性或偏见性问题已经在很多场景，例如计算机视觉、词嵌入、广告、监管、刑事审判和社会服务中存在了。

• 在不断复杂化的人 - 机混合系统的背景下，人类只能自负盈亏

为了应对这些问题，从业者有时候被迫做出各种偏见之间的取舍，或者，人类和机器之间的取舍。更多关于算法效果的问题仍然存在，例如网恋算法会如何影响婚姻制度，或者人类和智能算法之间的相互作用是否会系统性的影响人类发展的进程。这些问题在不断复杂化的人类 - 机器混合系统的背景下变得越发难解。为了社会能够监管 AI 可能造成的后续后果，机器行为学家必须提供见解来帮我们理解社会中无处不在的这些系统如何工作，以及代价如何取舍。

人 - 机混合系统趋于复杂，算法设计需要机器行为学的指导

二、 机器行为学的跨学科研究

为了研究机器在现实环境中的行为，特别是 “黑箱” 算法的行为，我们必须整合跨越其他学科的知识和见解。这种整合现在正处于一种不成熟的阶段，现在很多在一种特定方式研究。

原论文图 2

• 跨学科研究，使算法性能最大化

最近，研究机器行为学的科学家们大多是最初设计这些机器的计算机科学家，机器人学家和工程师。这些科学家可以是熟练的数学家和工程师，但是他们基本上没有行为学上的训练。他们很少接触实验方面的方法论，基于群体的抽样训练，或者基于观察的因果推理，更不用说神经科学、集体行为学或者社会理论了。

相反的，即使行为学家更多的在这些方面有建树，但是他们很少掌握对于衡量某个领域中人工智能质量和正当性，或者特定算法所必要的专业知识。

整合从各行各业来的科学家不是一件容易的事情。到目前为止，那些创建人工智能系统的人的主要关注点一直是构建、实现和优化智能系统，以执行特定的任务。

在很多基准任务上，智能体取得了出色的进展，比如棋盘游戏中的西洋棋、国际象棋、围棋，纸牌游戏比如 poker，电子游戏比如雅达利平台上的（美国游戏制造商），人工智能市场游戏，机器人足球，当然还有基准评价用数据比如 ImageNet 上用于物体识别的数据和 Microsoft Common Objects in Context 为图像标注的数据库。在语音识别，翻译和自动驾驶车等方面的成就也存在。

AlphaGo 及其后续改进版接连战胜顶尖棋手，被认为是人工智能算法性能提升的里程碑事件

这些测试基准可以作为一些标准化了的任务评价标准，也能用来提升性能，这是用一个代理式的评价标准来帮助 AI 设计者去设计更快、更稳健的算法。

• 机器行为学推崇的评价指标

但是，希望算法性能最大化的方法对于人工智能体的研究来讲并不是最佳的。比起利用基准数据集做评价算法性能上的优化，机器行为学家对一系列指标更感兴趣。

这就像是社会学家的探索 —— 在社会，政治背景下探索人类行为；定义宏观或微观社会结果的评价来回答例如算法在不同的环境下如何行动，人类和算法的互动会不会影响社会结果之类的问题。

随机实验、观察推断和基于群体的统计学描述方法是经常性用在定量行为学研究中的，对于机器行为学来讲极其重要。从制造智能机器的学科延伸整合其他学科的学者可以提供重要方法性工具、研究工具、多种可选的概念性框架，和人工智能体对经济、社会和政治可能造成影响。

三、 研究问题和研究对象

因创立了动物行为学而获得诺贝尔生理或医学奖的 Nikolaas Tinbergen 指出了四个维度上的行为学分析，帮助解释了动物行为。这些维度讨论一个行为的功能、原理、发展与进化史，提供了一个有组织的框架来研究动物和人类的行为。

这个概念化的框架把年轻动物或人类某项行为的发展和群体中这个行为的进化轨迹分开进行研究。这种区分的目的不是为了更好理解我们研究对象的全部。例如，虽然我们通过鸟学习鸣叫或者通过鸟叫的进化都可以来解释一个鸟歌声为什么形成，但是要完全了解鸟叫的全貌，两方面我们都要考虑。

虽然机器和动物有着物理本质上的区别，对智慧机器行为研究可以从动物行为的研究上得到帮助。机器有产生行为的内在机制，这些行为在和环境的互动获得信息，得到发展。产生了功能，导致特定的机器变得或多或少出现在它们所对应的环境中，并且它们贯穿过去环境的进化史和人类的决策正不断影响着机器的行为。

计算机科学的学者在研究 AI 系统的机理和发展方面已经取得了潜在的收益，即便很多问题仍然存在。AI 系统的功能和进化相对较少受到重视。我们将在讨论这四个主题，并提供图 3 作总结。

原论文图 3：计算机科学的学者在研究 AI 系统的机理和发展方面已经取得了潜在的收益，即便很多问题仍然存在。AI 系统的功能和进化相对较少受到重视。

行为产生的机理

机器行为的最主要的成因应与它的激发条件和它产生的环境有关。例如早期的算法交易软件用简单的规则来激发买卖行为。更复杂的人工智能体可能依赖适应性启发算法或者在特定用途中明确的优化方式。玩纸牌的强化学习算法的行为可以归因于它表示状态空间或者计算游戏树特定的方式。

机制由算法和环境共同决定，更复杂的人工智能体例如无人驾驶汽车可能表现出特定的驾驶行为。比如变道、超车、对行人发出信号。这些行为会依据构建起驾驶政策的算法而产生，并且也会从根本上被车的本身的感知和行动系统所改造。包括汽车识别物体的精度和分辨率，分类系统，驾驶的反应能力和精度。

因为很多现有的 AI 系统源于使用日益复杂的数据的机器学习手段，研究机器行为背后的机制，如上文所述，将需要继续研究机器学习的可解释性方法。

深度学习至今仍是未被打开的黑箱

行为的发展

在动物行为的研究中，发育指的是个体如何获得特定行为，比如通过模仿或者由于环境条件导致。这区别于长期的、进化性的变化。

在机器的背景下，我们想问的是：机器是如何决定个体或者集群的行为的？行为的发展可以直接由于人类工程工作或设计。编程者做出的架构上设计决策（比如学习率参数的值，知识和状态的获取，或卷积神经网络的特定连接方式）确定或影响算法会表现出的行为。

机器可能因工程师将其置于特定的训练环境下而塑造特定行为。例如，很多图像和文档分类算法用人手工标记过的数据库作为训练数据来提升算法精度。数据库的选取和它们所包含的特征可以潜在影响这些算法的行为。

最后，机器可能会在自己的经验中习得某些行为。例如，一个被训练来优化长期利润的强化学习人工智能体可以因为过去自己的一些行动和市场随后的反馈学到特定的，短线交易策略。同样，商品推荐算法可以根据用户无尽的选择来推荐产品，也能实时更新。

功能与适应

在动物行为学的研究中，适应值（adaptive value）描述了一个行为能多大程度贡献一个个体生存和留下后代的能力。例如，一个特别的狩猎行为可以或多或少增加狩猎成功度，那么这个行为就可以延长这个生物的生命长度和子代数量，然后它的子代也可能继承它的这种功能。

对功能的关注能帮助我们理解为什么一些行为的机制就能发扬光大，但是另外一些随着时间推进渐渐衰弱并消失。功能之所以存在，强烈依赖于行为本身适应环境。

在机器的的例子里，我们可以讨论这种行为如何为特定的利益相关群体提供服务。人类环境创造了选择压力，这可能使一些有适应性的智能体变得普遍。成功的（提高适应性）行为获得增值的机会，如被其他类型的软件或者硬件复制走，或者它们本身自己就可以增殖。

这背后的根本推动力是一些使用和构架人工智能的机构的成功，如企业、医院、政府和大学。最明显的例子是算法交易，在算法交易中，成功的自动交易策略可以在开发人员从一家公司跳槽到另一家公司时被复制，也可以简单讲，被竞争对手观察和反向架构。

这种动力，可以产生出人意料的效果。例如，像最大化社交媒体网站参与度的这样的目标可能会导致信息茧房（filter bubbles），它可能会加剧政治两极分化，又或者在缺少监管的条件下，可能会助长假新闻的扩散。

过度使用社交媒体会让我们陷入信息茧房

但是，那些没有针对用户参与进行优化的网站也许会比做了这方面工作的网站冷清，或者可能完全停止运营。 同样，在没有外部监管的情况下，不优先考虑自己携带乘客安全的自动驾驶汽车对消费者的吸引力可能较小，导致销量降低。

有时机器的某些行为背后的功能是为了应对其他机器的行为。 对抗性攻击，用假输入信息愚弄 AI 系统产生一个不需要的输出。在 AI 系统和被设计用来抵抗这些潜在攻击的反馈中，这些攻击会导致复杂的捕食者 - 食物动力学。这个过程很难仅依赖单独研究机器本身而被理解。

这些例子强调了外部组织机构和经济力量所能产生的直接且大量对于机器行为的刺激。

理解这些外界刺激和 AI 之间的互动对我们研究机器行为是有关的。反过来，外界的这些市场动态又会与其他过程相互作用，让机器和算法产生进化。

进化

在研究动物行为的过程中系统发生学描述了一个行为是怎么进化的。在现有功能的基础上，行为是被过去的选择压力所影响的，进化的机制。

• 早期进化机制影响深远

例如人类手是由硬骨鱼的鱼鳍所进化而来的。它现如今的功能已经不是为游泳而存在的了，但是它的内部结构能解释发生在它身上的进化史。非选择压力的作用，比如种群的迁移或者遗传漂变也很重要，它们能解释各种不同形式行为之间的关系。

在机器的情况下，进化历史也可以产生路径依赖（path dependence），解释其他令人费解的行为。在进化的每一阶段中，算法从各个角度在在新的环境中被重新使用，它可以成为未来可能行为的局限，又使得在这个基础上的其他创新成为可能。

例如，微处理器设计的早期设计继续影响现代计算机，并且算法设计中的传统，例如神经网络和贝叶斯状态空间模型，构建了许多假设并通过使一些新的算法相对更容易使用来指导未来的算法革新。

因此，某些算法可能会关注某些功能而忽略其他功能，因为这些功能在早期某些程序的成功中至关重要。

计算机一直在持续进化

• 机器进化的特殊性

 一些机器行为可能会广泛传播，因为它是 “可进化的” —— 容易修改并且相对扰动信息很稳健，类似于动物的某些特征可能是广泛存在于各种动物中的，因为这些特征促进了多样性和稳定性。

机器行为的进化与动物行为的进化不同，大多数动物的遗传是简单的，两个双亲一次性决定子代。算法要灵活得多，而且它们背后通常有一个带着目的设计者。

人类环境通过改变算法的继承体系，强烈地影响着算法的进化过程。AI 复制行为可能被开源软件、网络架构的细节和潜在的训练数据集所促进。

例如，为无人驾驶汽车开发软件的公司可能会共享用于目标检测或路径规划，增强后的开源数据库，以及作为这些算法的训练数据集，目的是使增强安全性的软件能够在整个行业推广。

通过软件更新，一辆特定的无人驾驶汽车行为中的一个适应性的 “突变” 就有可能立刻传播到数百万其他汽车上。然而，其他机构也会做出限制。例如，软件专利可能会对特定机器行为的复制加以限制。法规限制，比如隐私保护法，可能会阻止机器在决策过程中访问、保存或以其他方式使用隐私相关的信息。这些案例说明机器可能呈现出非常不同的进化轨迹，因为它们不在有机体进化那一套机理的约束之下。

四、 三种研究范围：个体、群集与人机交互

通过上文和图 3 中所概述的框架，我们现在在三个调查范围内对机器行为的示例进行编目：个体机器、集群、和嵌入处在混合或异构系统的人类社交环境中的机器群组（ 图 4）。 

原论文图 4

个体机器行为强调算法本身的研究，集体机器行为强调研究机器之间的相互作用，混合人机行为强调研究机器与人类之间的相互作用。 在这里，我们可以类推为对特定物种的研究，研究物种成员之间的相互作用以及物种与更宽泛环境之间的相互作用。 上述三种分析可以解决图 3 中描述的几乎所有问题。

个体机器行为

对个体机器行为的研究主要集中在特定的智能机器上。这些研究通常侧重于个体机器固有的属性，并且由其源代码或设计驱动。机器学习和软件工程领域目前主要进行这些研究。

研究个体机器行为有两种通用方法：

• 第一个侧重于使用机器内（within-machine behaviour）方法分析任一特定机器的行为集，比较特定机器在不同条件下的行为。

• 第二种是机器间方法（between-machine approach），比较各种机器在相同条件下的不同行为。

个体机器行为的机器内方法研究了诸如是否存在可以表征任一 AI 在各种环境中的机器内行为的常数，某一 AI 的行为如何随着时间的推移而不断发展，环境因素如何影响机器对特定行为的表征等问题。

例如，如果训练特定的底层数据（图 3），算法可能仅表现出某些特定的行为。然后问题在于，当使用与训练数据有显著不同的评估数据时，在模拟决策中对累积概率进行评分的算法是否会出现出乎意料的表征。其他与机内行为特征相关的研究包括对个体机器人恢复行为的研究，算法的 “认知” 属性以及心理学技术在算法行为研究中的应用，以及对机器人特定特征的检查 —— 例如那些旨在影响人类用户的特征。

研究单个机器行为的第二种方法探究相同行为在不同机器之间的表现差异。例如，那些对检查智能代理的广告行为感兴趣的人可以调查各种广告平台（及其底层算法），并跨平台进行实验的，以检查同一组广告输入的机器间效应。相同的方法可用于对跨平台的动态定价算法的研究。其他机器间的研究可能会探讨自动驾驶车辆在超车模式中使用的不同行为，或者搜索和救援无人机所展示的各种搜寻行为。

群集机器行为

相比于对单个机器行为的研究，集体机器行为的研究侧重于机器集群的交互和系统范围的行为。在某些情况下，在考虑集体层面之前，个别机器行为的含义可能没什么意义。

欧椋鸟的集群行为

• 机器群集研究大有用处

对这些系统的一些调查受到了自然界中集群现象的启发，例如成群的昆虫，或以迁徙的鱼鸟为例的移动群体。例如，我们已经知道的动物群体表现出复杂环境特征的紧急感知和有效的共识决策。

在这两种情况下，群体都表现出对环境的认识，这在个体层面是不存在的。诸如多智能体系统和计算博弈理论等领域提供了研究这一领域机器行为的有用例子。

使用简单算法进行机器人之间的本地交互的机器人一旦聚合成大型集体，就会产生有趣的行为。例如，学者们已经研究了微型机器人的群体特性，这些特性结合成类似于生物制剂系统中发现的群体聚合现象。其他示例包括实验室（在生命游戏中）以及在真实场景中（如维基百科词条机器人中所见）的算法的集体行为；又如在通信智能机器之间出现的新算法语言，以及完全自主运输系统的动态特性。该领域的许多有趣问题仍有待研究。

相关推文：

• Nature 封面突破性研究：新型仿生群体机器人问世
  

• 新型仿生机器鱼：从个体仿生到群体智能
  

• Science Robotics：无人机的自组织飞行和集群智慧
  

关于集体动物行为和集体机器行为的绝大多数工作都集中在简单智能体之间的交互是如何能够创建更高阶的结构和属性的。尽管这也很重要，但却忽略了这样一个事实：许多生物体，以及越来越多的 AI 智能体，都是具有可能无法简单地表征的行为或相互作用的复杂实体。

揭示当相互作用的实体能够进行复杂的认知时出现的额外属性仍然是生物科学中的关键挑战，并且可能与机器行为的研究具有直接的相似性。例如，类似于动物，机器可能表现出 “社交学习”。这种社会学习不需要局限于机器向机器学习，我们也期望机器向人类学习，反之亦然，人类可以从机器的行为中学习。引入的反馈过程可能从根本上改变知识的积累方式，包括跨代，直接地影响人类和机器的 “文化”。

• 机器群集的独特性为，以金融交易为例

此外，人工 AI 系统不一定面临与生物相同的限制，机器的集群提供了全新的能力，例如即时性全球通信，就能够带来全新的集体行为模式。相关研究调研了机器集群的特性以及可能从这些复杂的相互作用系统中产生的出人意料的特性。

例如，在金融交易环境中已经观察到一些非常有趣的算法集体行为。这些环境在很小的时间尺度上运行，因此算法交易者可以在任何人类交易者之前对事件和其他算法交易者做出效应。

在某些条件下，高频能力交易会导致金融市场效率低下。除了前所未有的响应速度之外，机器学习的广泛使用，自主操作和大规模部署的能力都是促使我们相信机器集群的交易行为本质上与人类交易者不同的原因。

此外，这些金融算法和交易系统必须在某些历史数据集上进行训练，并对有限的各类预见情景作出反应，从而导致了难以对设计中新出现和无法预见的情况作出反应的问题。 闪电崩盘是（交互）算法无意识后果的典型例子，引出算法的相互作用是否会产生更大的市场危机这一问题。

混合人机行为

人类越来越多地与机器互动。机器调节我们的社交互动，塑造我们所看到在线信息，并与我们建立足以改变我们社会系统的关系。由于它们的复杂性，这些混合人机系统构成了机器行为中技术上最困难但同时也是最重要的研究领域之一。

• 机器塑造人类行为

机器行为研究中最明显但至关重要的领域之一，是将智能机器引入社会系统的方式可以改变人类的信仰和行为。

在向工业流程引入自动化，智能机器可以在改善现有问题的过程中产生新的社会问题。在此过程中出现了许多问题，例如用于在线约会的匹配算法是否会改变约会过程的分布结果，或者新闻过滤算法是否会改变公众意见的分布。

研究算法中的小错误或使用的数据是否会累积而产生社会性影响，以及我们学校，医院和护理中心的智能机器人如何改变人类发展、生活质量或潜在地影响残疾人士的生活，至关重要。该领域的其他问题涉及到机器用更基本的方式改变社交结构的可能性。

例如，政府可以在多大程度上以何种方式使用机器智能来改变民主的性质，政治责任和透明度，或公民参与度。其他问题还包括智能机器在多大程度上影响警务，监视和战争，以及机器人对选举结果的影响有多大以及有助于人类社会关系的人工智能系统能否实现集体行动。

点击查看参考文章：别瞧不起僵尸粉：它们真能左右舆论！

值得注意的是，该领域的研究还研究了人类如何将机器用作决策辅助工具，人类对使用算法的偏好和厌恶，以及人类机器产生或减少人类不适的程度。这方面的一个重要问题还有人类如何应对随着智能机器增加经济产品和服务的联合生产。了解如何通过将智能机器引入我们的生活中来改变人类系统是机器行为研究的重要组成部分。

• 人类塑造机器行为

智能机器可以改变人类行为，人类也可以创造，影响和塑造智能机器的行为。我们通过直接操作 AI 系统以及通过对这些系统进行主动训练和根据人类行为日常产生的数据的被动观察来塑造机器行为。

选择使用哪种算法，为这些算法提供什么反馈以及在什么样的数据对它们进行训练目前也是人类的决策，而这可以直接改变机器行为。

研究机器行为的一个重要组成部分是理解这些工程过程将如何改变 AI 的最终行为，无论训练数据是否导致机器的特定行为，是算法本身还是算法和数据的组合。图 3 中概述的框架表明，以上的每个问题都有补充答案。探讨如何改变工过程的参数可以改变智能机器的后续行为，因为它们和其他机器及人类的交互是从整体上理解机器行为的核心。

• 人机协作行为

尽管将研究分成人类塑造机器的方式会更方便，反之亦然，但大多数人工智能系统在与人类共存的复杂混合系统中起作用。对这些系统的研究具有重要意义的问题包括人机交互特征的行为，如合作、竞争和协调 。

例如，人类偏见与 AI 结合会如何改变人类的情感或信仰，人类发展趋势与算法相结合会如何促进信息的传播，如何在大量无人驾驶汽车和人力驱动汽车的混合街道上改变交通模式，以及如何通过人与算法交易智能体之间的交互来改变交易模式，以及哪些因素可以促进人与机器之间的信任与合作。

大量的人机协作系统已经应用于人类生产生活

该领域的另一个主题涉及机器人和软件驱动的人力自动化。在这里，我们看到两种不同类型的人机交互：

• 一种是机器可以提高人的效率，例如机器人和计算机辅助手术。

• 另一种是机器可以取代人类，例如无人驾驶运输和包裹递送。

这引出了一个新的疑问 —— 最终机器是否会在更长时间内进行迭代或增强，以及人机共同行为是否将因此而演变？

上述例子强调，与混合人机行为相关的许多问题必须同时研究人类对机器行为的影响与机器对人类行为的影响之间的反馈循环。学者们已经开始研究标准实验室环境中的人机交互，观察到与简单机器人的交互可以增加人类协调性，机器人可以在与人类之间的合作相媲美的水平上直接与人类合作。

然而，在人类越来越多地使用算法来做出决策且基于此来训练相同算法的情况下，我们迫切地需要进一步理解自然环境中的反馈回路。

此外，在机器行为生态学领域的各种类型的问题中，对于特别强调人类的社会交往方式，可能会被智能机器所影响，我们需要关注这些混合系统的长期动态。

五、 展望：机器行为学如何发展？

要想最大限度地发挥人工智能对社会的潜在利益，我们就得了解机的行为。如果我们做出将人工智能体融入我们的生活这一有后果的选择，必须依仗我们了解它们对社会可能的影响。为了提供这种理解和预期，我们需要一个新的交叉学科研究研究领域：机器行为学。为了让这个领域顺利发展，我们有许多要考虑的因素。

首先，研究机器行为并不意味着 AI 算法需要有独立的代理人，也不意味着算法应该对其行为承担道德责任。

如果狗咬人，则狗的主人应当负责。尽管如此，动物行为模式的研究是有助于我们理解和预测这种 “脱轨” 行为的。机器在更大的社会技术框架中运行，其人类利益相关者本质上应对部署它们可能造成的任何损害负责。

其次，一些人评论建议将人工智能系统作为个体研究，不用将重点放在对这些人工智能系统进行训练的基础数据上。

实际上，解释任何行为都不能完全与训练或开发该人工智能体的环境数据分开；机器行为也不例外。但是，理解机器行为如何因环境输入的改变而变化就像理解生物体的行为根据它们存在的环境而变化一样重要。因此，机器行为学者应该专注于描述不同环境中的人工智能体的行为，就像行为科学家渴望在不同的人口统计和制度环境中描述政治行为一样。

第三，机器行为和动物、人类的行为有本质不同，因此我们必须避免过度将机器拟人拟兽。 即使借用现有的行为科学方法被证明对机器的研究有效，机器也可能表现出与生命具有的特质不同的，甚至是迥异的行为。

此外，剖析和修改 AI 系统可是比修改有生命的系统容易多了。虽然两个体系存在相似之处，但 AI 系统的研究必然会与生命系统的研究有所区别。

第四，对机器行为的研究将需要学科间的共同的努力，因为这些研究本身伴随跨学科合作所带来的挑战。应对这些挑战至关重要。大学、政府和资助机构可以在设计大规模，平等和可信的跨学科研究中起到重要作用。

第五，针对机器行为的研究通常需要现实条件下的实验来研究人机交互。这些实验介入可能会全面改变系统的行为，可能对一般使用者产生不利影响。诸如此类的道德考虑需要谨慎的监督和标准化框架。

最后，研究智能算法或机器人系统可能会给研究机器行为的研究人员带来法律和道德问题。算法的反向工程可能会违反某些平台的服务条款。例如，设置虚假角色或掩盖真实身份。如果研究损害其平台的声誉，那么利益相关的系统的创建者或维护者可能会使研究人员陷入法律责难。此外，尚不清楚违反服务条款是否会使研究人员受到民事或刑事处罚（例如美国的计算机欺诈和滥用法案），这可能会进一步阻碍这类研究。

了解人工智能体的行为和性质，以及它们可能对人类系统产生的影响是至关重要的事情。社会发展可以从人工智能提供的效率扶持和决策增强中获益匪浅。与此同时，将 AI 直接 “植入” 日常生活中的潜在缺陷我们也不能视而不见，尽可能避免其副作用，否则研究机器行为学带来的好处可能会摇摇欲坠。

机器行为学，是一门研究人工智能如何与人类共存的学科

参考文献1

1. Simon, H. A. The Sciences of the Artifcial (MIT Press, Cambridge, 1969).

Simon asks whether there can be a science of the ‘artifcial’ that produces

knowledge about artifcial objects and phenomena.

2. Milner, R. A modal characterisation of observable machine-behaviour. In Trees

in Algebra and Programming, 6th Colloquium 25–34 (Springer, 1981).

In this invited lecture, Robin Milner outlines the idea of studying machine

behaviour using formal logic.

3. Thomaz, A. L. & Breazeal, C. Teachable robots: understanding human teaching

behavior to build more efective robot learners. Artif. Intell. 172, 716–737 (2008).

4. Stone, P. et al. Artifcial Intelligence and Life in 2030. One Hundred Year Study on

Artifcial Intelligence: Report of the 2015–2016 Study Panel https://

ai100.stanford.edu/2016-report (Stanford University, 2016).

5. O’Neil, C. Weapons of Math Destruction: How Big Data Increases Inequality and

Threatens Democracy (Broadway Books, 2016).

This book articulates some of the risks posed by the uncritical use of algorithms

in society and provides motivation for the study of machine behaviour.

6. Future of Life Institute. Autonomous weapons: an open letter from AI &

robotics researchers. https://futureofife.org/open-letter-autonomousweapons/?cn-reloaded=1(2015).

7. Dressel, J. & Farid, H. The accuracy, fairness, and limits of predicting

recidivism. Sci. Adv. 4, eaao5580 (2018).

8. Binns, R. et al. ‘It’s reducing a human being to a percentage’: perceptions of

justice in algorithmic decisions. In Proc. 2018 CHI Conference on Human

Factors in Computing Systems 377 (ACM, 2018).

9. Hudson, L., Owens, C. S. & Flannes, M. Drone warfare: blowback from the new

American way of war. Middle East Policy 18, 122–132 (2011).

10. Kahneman, D., Rosenfeld, A. M., Gandhi, L. & Blaser, T. Noise: how to overcome

the high, hidden cost of inconsistent decision making. Harvard Business Review

https://hbr.org/2016/10/noise (2016).

11. Kleinberg, J., Lakkaraju, H., Leskovec, J., Ludwig, J. & Mullainathan, S. Human

decisions and machine predictions. Q. J. Econ. 133, 237–293 (2018).

12. Crawford, K. et al. The AI Now report: The Social and Economic Implications of

Artifcial Intelligence Technologies in the Near-term. https://ainowinstitute.org/

AI_Now_2016_Report.pdf (2016).

13. Amodei, D. et al. Concrete problems in AI safety. Preprint at https://arxiv.org/

abs/1606.06565 (2016).

14. Bakshy, E., Messing, S. & Adamic, L. A. Exposure to ideologically diverse news

and opinion on Facebook. Science 348, 1130–1132 (2015).

15. Bessi, A. & Ferrara, E. Social bots distort the 2016 U.S. Presidential election

online discussion. First Monday 21, 11 (2016).

16. Ferrara, E., Varol, O., Davis, C., Menczer, F. & Flammini, A. The rise of social bots.

Commun. ACM 59, 96–104 (2016).

17. Lazer, D. The rise of the social algorithm. Science 348, 1090–1091 (2015).

18. Tufekci, Z. Engineering the public: big data, surveillance and computational

politics. First Monday 19, 7 (2014).

19. Lee, T.-S. & Chen, I.-F. A two-stage hybrid credit scoring model using artifcial

neural networks and multivariate adaptive regression splines. Expert Syst. Appl.

28, 743–752 (2005).

20. Roszbach, K. Bank lending policy, credit scoring, and the survival of loans.

Rev. Econ. Stat. 86, 946–958 (2004).

21. Huang, C.-L., Chen, M.-C. & Wang, C.-J. Credit scoring with a data mining

approach based on support vector machines. Expert Syst. Appl. 33, 847–856

(2007).

22. Tsai, C.-F. & Wu, J.-W. Using neural network ensembles for bankruptcy

prediction and credit scoring. Expert Syst. Appl. 34, 2639–2649 (2008).

23. Chen, L. & Wilson, C. Observing algorithmic marketplaces in-the-wild. SIGecom

Exch. 15, 34–39 (2017).

24. Chen, L., Mislove, A. & Wilson, C. An empirical analysis of algorithmic pricing

on Amazon marketplace. In Proc. 25th International Conference on World Wide

Web 1339–1349 (International World Wide Web Conferences Steering

Committee, 2016).

25. Hannák, A. et al. Bias in Online freelance marketplaces: evidence from

TaskRabbit and Fiverr. In Proc. ACM Conference on Computer Supported

Cooperative Work and Social Computing 1914–1933 (2017).

26. Cartlidge, J., Szostek, C., De Luca, M. & Clif, D. Too fast too furious—faster

fnancial-market trading agents can give less efcient markets. In Proc. 4th

International Conference on Agents and Artifcial Intelligence 126–135 (2012).

27. Kearns, M., Kulesza, A. & Nevmyvaka, Y. Empirical limitations on highfrequency trading proftability. J. Trading 5, 50–62 (2010).

28. Wellman, M. P. & Rajan, U. Ethical issues for autonomous trading agents. Minds

Mach. 27, 609–624 (2017).

29. Farmer, J. D. & Skouras, S. An ecological perspective on the future of computer

trading. Quant. Finance 13, 325–346 (2013).

30. Perry, W. L., McInnis, B., Price, C. C., Smith, S. & Hollywood, J. S. Predictive

Policing: The Role of Crime Forecasting in Law Enforcement Operations (RAND,

2013).

31. Bonnefon, J.-F., Sharif, A. & Rahwan, I. The social dilemma of autonomous

vehicles. Science 352, 1573–1576 (2016).

32. Kooti, F. et al. Analyzing Uber’s ride-sharing economy. In Proc. 26th

International Conference on World Wide Web 574–582 (International World

Wide Web Conferences Steering Committee, 2017).

33. Zeng, X., Fapojuwo, A. O. & Davies, R. J. Design and performance evaluation of

voice activated wireless home devices. IEEE Trans. Consum. Electron. 52,

983–989 (2006).

34. Hendriks, B., Meerbeek, B., Boess, S., Pauws, S. & Sonneveld, M. Robot vacuum

cleaner personality and behavior. Int. J. Soc. Robot. 3, 187–195 (2011).

35. Hitsch, G. J., Hortaçsu, A. & Ariely, D. Matching and sorting in online dating.

Am. Econ. Rev. 100, 130–163 (2010).

36. Finkel, E. J., Eastwick, P. W., Karney, B. R., Reis, H. T. & Sprecher, S. Online

dating: a critical analysis from the perspective of psychological science.

Psychol. Sci. Public Interest 13, 3–66 (2012).

37. Park, H. W., Rosenberg-Kima, R., Rosenberg, M., Gordon, G. & Breazeal, C.

Growing growth mindset with a social robot peer. In Proc. 2017 ACM/IEEE

International Conference on Human–Robot Interaction 137–145 (ACM, 2017).

38. Bemelmans, R., Gelderblom, G. J., Jonker, P. & de Witte, L. Socially assistive

robots in elderly care: a systematic review into efects and efectiveness. J. Am.

Med. Dir. Assoc. 13, 114–120 (2012).

39. Shirado, H. & Christakis, N. A. Locally noisy autonomous agents improve global

human coordination in network experiments. Nature 545, 370–374 (2017).

In this human–machine hybrid study, the authors show that simple

algorithms injected into human gameplay can improve coordination

outcomes among humans.

40. Pichai, S. AI at Google: Our Principles. Google Blog https://blog.google/topics/

ai/ai-principles/ (2018).

41. Rof, H. M. The strategic robot problem: lethal autonomous weapons in war.

J. Mil. Ethics 13, 211–227 (2014).

42. Krishnan, A. Killer Robots: Legality and Ethicality of Autonomous Weapons

(Routledge, 2016).

43. Voosen, P. The AI detectives. Science 357, 22–27 (2017).

44. Szegedy, C. et al. Intriguing properties of neural networks. Preprint at https://

arxiv.org/abs/1312.6199 (2013).

45. Zhang, Q.-S. & Zhu, S.-C. Visual interpretability for deep learning: a survey.

Front. Inf. Technol. Electronic Eng. 19, 27–39 (2018).

46. Doshi-Velez, F. & Kim, B. Towards a rigorous science of interpretable machine

learning. Preprint at https://arxiv.org/abs/1702.08608(2017).

47. Gebru, T. et al. Datasheets for datasets. Preprint at https://arxiv.org/

abs/1803.09010 (2018).

48. Mitchell, M. et al. Model cards for model reporting. Preprint at https://

arxiv.org/abs/1810.03993 (2018).

49. Lakkaraju, H., Kamar, E., Caruana, R. & Horvitz, E. Identifying unknown

unknowns in the open world: representations and policies for guided

exploration. In Proc. 31st Association for the Advancement of Artifcial

Intelligence Conference on Artifcial Intelligence 2 (2017).

50. Johnson, N. et al. Abrupt rise of new machine ecology beyond human

response time. Sci. Rep. 3, 2627 (2013).

51. Appel, K., Haken, W. & Koch, J. Every planar map is four colorable. Part II:

reducibility. Illinois J. Math. 21, 491–567 (1977)

52. Appel, K. & Haken, W. Every planar map is four colorable. Part I: discharging.

Illinois J. Math. 21, 429–490 (1977).

53. Westlund, J. M. K., Park, H. W., Williams, R. & Breazeal, C. Measuring young

children’s long-term relationships with social robots. In Proc. 17th ACM

Conference on Interaction Design and Children 207–218 (ACM, 2018).

54. Lorenz, T., Weiss, A. & Hirche, S. Synchrony and reciprocity: key mechanisms

for social companion robots in therapy and care. Int. J. Soc. Robot. 8, 125–143

(2016).

55. Vosoughi, S., Roy, D. & Aral, S. The spread of true and false news online.

Science 359, 1146–1151 (2018).

This study examines the complex hybrid ecology of bots and humans on

Twitter and fnds that humans spread false information at higher rates

than bots.

56. Lazer, D. M. J. et al. The science of fake news. Science 359, 1094–1096 (2018).

57. Roberts, M. E. Censored: Distraction and Diversion Inside China’s Great Firewall

(Princeton Univ. Press, 2018).

58. Corbett-Davies, S., Pierson, E., Feller, A., Goel, S. & Huq, A. Algorithmic decision

making and the cost of fairness. In Proc. 23rd ACM SIGKDD International

Conference on Knowledge Discovery and Data Mining 797–806 (ACM, 2017).

59. Kleinberg, J., Mullainathan, S. & Raghavan, M. Inherent trade-ofs in the fair

determination of risk scores. Preprint at https://arxiv.org/abs/1609.05807

(2016).

60. Buolamwini, J. & Gebru, T. Gender shades: intersectional accuracy disparities

in commercial gender classifcation. In Proc. 1st Conference on Fairness,

Accountability and Transparency (eds Friedler, S. A. & Wilson, C.) 81, 77–91

(PMLR, 2018).

61. Bolukbasi, T., Chang, K.-W., Zou, J. Y., Saligrama, V. & Kalai, A. T. Man is to

computer programmer as woman is to homemaker? Debiasing word

embeddings. In Proc. Advances in Neural Information Processing Systems

4349–4357 (2016).

62. Caliskan, A., Bryson, J. J. & Narayanan, A. Semantics derived automatically

from language corpora contain human-like biases. Science 356, 183–186

(2017).

63. Sweeney, L. Discrimination in online ad delivery. Queueing Syst. 11, 10

(2013).

64. Ensign, D., Friedler, S. A., Neville, S., Scheidegger, C. & Venkatasubramanian, S.

Runaway feedback loops in predictive policing. Preprint at https://arxiv.org/

abs/1706.09847 (2017).

65. Angwin, J., Larson, J., Mattu, S. & Kirchner, L. Machine bias. ProPublica https://

www.propublica.org/article/machine-bias-risk-assessments-in-criminalsentencing(2016).

66. Chouldechova, A., Benavides-Prado, D., Fialko, O. & Vaithianathan, R. A case

study of algorithm-assisted decision making in child maltreatment hotline

screening decisions. In Proc. 1st Conference on Fairness, Accountability and

Transparency (eds Friedler, S. A. & Wilson, C.) 81, 134–148 (PMLR, 2018).

67. Jennings, N. R. et al. Human–agent collectives. Commun. ACM 57, 80–88

(2014).

68. Campbell, M., Hoane, A. J. & Hsu, F.-H. Deep blue. Artif. Intell. 134, 57–83

(2002).

69. Schaefer, J. et al. Checkers is solved. Science 317, 1518–1522 (2007).

70. Silver, D. et al. Mastering the game of Go with deep neural networks and tree

search. Nature 529, 484–489 (2016).

71. Silver, D. et al. Mastering the game of Go without human knowledge. Nature

550, 354–359 (2017).

72. Bowling, M., Burch, N., Johanson, M. & Tammelin, O. Heads-up limit hold’em

poker is solved. Science 347, 145–149 (2015).

73. Bellemare, M. G., Naddaf, Y., Veness, J. & Bowling, M. The arcade learning

environment: an evaluation platform for general agents. J. Artif. Intell. Res. 47,

253–279 (2013).

74. Wellman, M. P. et al. Designing the market game for a trading agent

competition. IEEE Internet Comput. 5, 43–51 (2001).

75. Kitano, H., Asada, M., Kuniyoshi, Y., Noda, I. & Osawa, E. RoboCup: the robot

world cup initiative. In Proc. 1st International Conference on Autonomous Agents

340–347 (ACM, 1997).

76. Russakovsky, O. et al. ImageNet large scale visual recognition challenge. Int. J.

Comput. Vis. 115, 211–252 (2015).

77. Lin, T.-Y. et al. Microsoft COCO: common objects in context. In Proc. European

Conference on Computer Vision (eds Fleet, D. et al.) 8693, 740–755 (Springer

International Publishing, 2014).

78. Davis, J. & Goadrich, M. The relationship between precision–recall and ROC

curves. In Proc. 23rd International Conference on Machine Learning 233–240

(ACM, 2006).

79. van de Sande, K. E. A., Gevers, T. & Snoek, C. G. M. Evaluating color descriptors

for object and scene recognition. IEEE Trans. Pattern Anal. Mach. Intell. 32,

1582–1596 (2010).

80. Papineni, K., Roukos, S., Ward, T. & Zhu, W.-J. BLEU: a method for automatic

evaluation of machine translation. In Proc. 40th Annual Meeting on Association

for Computational Linguistics 311–318 (Association for Computational

Linguistics, 2002).

81. Zhou, Z., Zhang, W. & Wang, J. Inception score, label smoothing, gradient

vanishing and -log(D(x)) alternative. Preprint at https://arxiv.org/

abs/1708.01729 (2017).

82. Epstein, Z. et al. Closing the AI knowledge gap. Preprint at https://arxiv.org/

abs/1803.07233 (2018).

83. Tinbergen, N. On aims and methods of ethology. Ethology 20, 410–433 (1963).

84. Nesse, R. M. Tinbergen’s four questions, organized: a response to Bateson and

Laland. Trends Ecol. Evol. 28, 681–682 (2013).

85. Das, R., Hanson, J. E., Kephart, J. O. & Tesauro, G. Agent–human interactions in

the continuous double auction. In Proc. 17th International Joint Conference on

Artifcial Intelligence 1169–1178 (Lawrence Erlbaum, 2001).

86. Deng, Y., Bao, F., Kong, Y., Ren, Z. & Dai, Q. Deep direct reinforcement learning

for fnancial signal representation and trading. IEEE Trans. Neural Netw. Learn.

Syst. 28, 653–664 (2017).

87. Galceran, E., Cunningham, A. G., Eustice, R. M. & Olson, E. Multipolicy

decision-making for autonomous driving via changepoint-based behavior

prediction: theory and experiment. Auton. Robots 41, 1367–1382 (2017).

88. Ribeiro, M. T., Singh, S. & Guestrin, C. Why should I trust you? Explaining the

predictions of any classifer. In Proc. 22nd ACM SIGKDD International

Conference on Knowledge Discovery and Data Mining 1135–1144 (ACM, 2016).

89. Smilkov, D., Thorat, N., Kim, B., Viégas, F. & Wattenberg, M. SmoothGrad:

removing noise by adding noise. Preprint at https://arxiv.org/

abs/1706.03825 (2017).

90. Nevmyvaka, Y., Feng, Y. & Kearns, M. reinforcement learning for optimized

trade execution. In Proc. 23rd International Conference on Machine Learning

673–680 (ACM, 2006).

91. Nguyen, T. T., Hui, P.-M., Harper, F. M., Terveen, L. & Konstan, J. A. Exploring the

flter bubble: the efect of using recommender systems on content diversity. In

Proc. 23rd International Conference on World Wide Web 677–686 (ACM, 2014).

92. Dalvi, N. & Domingos, P. Mausam, Sanghai, S. & Verma, D. Adversarial

classifcation. In Proc. Tenth ACM SIGKDD International Conference on

Knowledge Discovery and Data Mining 99–108 (ACM, 2004).

93. Globerson, A. & Roweis, S. Nightmare at test time: robust learning by feature

deletion. In Proc. 23rd International Conference on Machine Learning 353–360

(ACM, 2006).

94. Biggio, B. et al. Evasion attacks against machine learning at test time. In Proc.

Joint European Conference on Machine Learning and Knowledge Discovery in

Databases 387–402 (Springer, 2013).

95. Tramèr, F. et al. Ensemble adversarial training: attacks and defenses. Preprint

at https://arxiv.org/abs/1705.07204(2017).

96. Parkes, D. C. & Wellman, M. P. Economic reasoning and artifcial intelligence.

Science 349, 267–272 (2015).

97. Wagner, A. Robustness and Evolvability in Living Systems (Princeton Univ. Press,

2013).

98. Edwards, H. & Storkey, A. Censoring representations with an adversary.

Preprint at https://arxiv.org/abs/1511.05897(2015).

99. Zemel, R., Wu, Y., Swersky, K., Pitassi, T. & Dwork, C. learning fair

representations. In Proc. International Conference on Machine Learning

325–333 (2013).

100. Feldman, M., Friedler, S. A., Moeller, J., Scheidegger, C. & Venkatasubramanian,

S. Certifying and removing disparate impact. In Proc. 21th ACM SIGKDD

International Conference on Knowledge Discovery and Data Mining 259–268

(ACM, 2015).

101. Cully, A., Clune, J., Tarapore, D. & Mouret, J.-B. Robots that can adapt like

animals. Nature 521, 503–507 (2015).

This study characterizes a robot driven by an adaptive algorithm that mimics

the adaptation and behaviours of animals.

102. Bongard, J., Zykov, V. & Lipson, H. Resilient machines through continuous

self-modeling. Science 314, 1118–1121 (2006).

103. Leibo, J. Z. et al. Psychlab: a psychology laboratory for deep reinforcement

learning agents. Preprint at https://arxiv.org/abs/1801.08116(2018).

In this study, the authors use behavioural tools from the life sciences in the

study of machine behaviours.

104. Subrahmanian, V. S. et al. The DARPA Twitter bot challenge. Preprint at

https://arxiv.org/abs/1601.05140(2016).

105. Carrascosa, J. M., Mikians, J., Cuevas, R., Erramilli, V. & Laoutaris, N. I. Always

feel like somebody’s watching me: measuring online behavioural advertising.

In Proc. 11th ACM Conference on Emerging Networking Experiments and

Technologies 13 (ACM, 2015).

106. Datta, A., Tschantz, M. C. & Datta, A. Automated Experiments on Ad Privacy

Settings. Proc. Privacy Enhancing Technologies 2015, 92–112 (2015).

107. Giusti, A. et al. A machine learning approach to visual perception of forest trails

for mobile robots. IEEE Robot. Autom. Lett. 1, 661–667 (2016).

108. Berdahl, A., Torney, C. J., Ioannou, C. C., Faria, J. J. & Couzin, I. D. Emergent

sensing of complex environments by mobile animal groups. Science 339,

574–576 (2013).

109. Couzin, I. D. et al. Uninformed individuals promote democratic consensus in

animal groups. Science 334, 1578–1580 (2011).

110. Rubenstein, M., Cornejo, A. & Nagpal, R. Programmable self-assembly in a

thousand-robot swarm. Science 345, 795–799 (2014).

111. Kernbach, S., Thenius, R., Kernbach, O. & Schmickl, T. Re-embodiment of

honeybee aggregation behavior in an artifcial micro-robotic system. Adapt.

Behav. 17, 237–259 (2009).

112. Bak, P., Chen, K. & Creutz, M. Self-organized criticality in the ‘Game of Life’.

Nature 342, 780–782 (1989).

113. Tsvetkova, M., García-Gavilanes, R., Floridi, L. & Yasseri, T. Even good bots fght:

the case of Wikipedia. PLoS ONE 12, e0171774 (2017).

114. Lazaridou, A., Peysakhovich, A. & Baroni, M. Multi-agent cooperation and the

emergence of (natural) language. Preprint at https://arxiv.org/

abs/1612.07182 (2016).

115. Budish, E., Cramton, P. & Shim, J. The high-frequency trading arms race:

frequent batch auctions as a market design response. Q. J. Econ. 130,

1547–1621 (2015).

116. Kirilenko, A. A. & Lo, A. W. Moore’s law versus Murphy’s law: algorithmic

trading and its discontents. J. Econ. Perspect. 27, 51–72 (2013).

117. Menkveld, A. J. The economics of high-frequency trading: taking stock. Annu.

Rev. Financ. Econ. 8, 1–24 (2016).

118. Mønsted, B., Sapieżyński, P., Ferrara, E. & Lehmann, S. Evidence of complex

contagion of information in social media: an experiment using Twitter bots.

PLoS ONE 12, e0184148 (2017).

This study presents an experimental intervention on Twitter using bots and

provides evidence that information difusion is most accurately described by

complex contagion.

119. Bainbridge, L. Ironies of automation. Automatica 19, 775–779 (1983).

120. Jeong, S., Breazeal, C., Logan, D. & Weinstock, P. Huggable: the impact of

embodiment on promoting socio-emotional interactions for young pediatric

inpatients. In Proc. 2018 CHI Conference on Human Factors in Computing

Systems 495 (ACM, 2018).

121. Kory Westlund, J. M. et al. Flat vs. expressive storytelling: young children’s

learning and retention of a social robot’s narrative. Front. Hum. Neurosci. 11,

295 (2017).

122. Salisbury, E., Kamar, E. & Morris, M. R. Toward scalable social alt text:

conversational crowdsourcing as a tool for refning vision-to-language

technology for the blind. Proc. 5th AAAI Conference on Human Computation and

Crowdsourcing (2017).

123. Awad, E. et al. The Moral Machine experiment. Nature 563, 59–64 (2018).

124. Dietvorst, B. J., Simmons, J. P. & Massey, C. Algorithm aversion: people

erroneously avoid algorithms after seeing them err. J. Exp. Psychol. Gen. 144,

114–126 (2015).

125. Gray, K. & Wegner, D. M. Feeling robots and human zombies: mind perception

and the uncanny valley. Cognition 125, 125–130 (2012).

126. Brynjolfsson, E. & Mitchell, T. What can machine learning do? Workforce

implications. Science 358, 1530–1534 (2017).

127. Christiano, P. F. et al. Deep reinforcement learning from human preferences. In

Proc. Advances in Neural Information Processing Systems 30 (eds Guyon, I. et

al.) 4299–4307 (Curran Associates, 2017).

128. Tsvetkova, M. et al. Understanding human–machine networks: a crossdisciplinary survey. ACM Comput. Surv. 50, 12:1–12:35 (2017).

129. Hilbert, M., Ahmed, S., Cho, J., Liu, B. & Luu, J. Communicating with

algorithms: a transfer entropy analysis of emotions-based escapes from

online echo chambers. Commun. Methods Meas. 12, 260–275 (2018).

130. Kramer, A. D. I., Guillory, J. E. & Hancock, J. T. Experimental evidence of

massive-scale emotional contagion through social networks. Proc. Natl Acad.

Sci. USA 111, 8788–8790 (2014).

131. Kamar, E., Hacker, S. & Horvitz, E. Combining human and machine intelligence

in large-scale crowdsourcing. in Proc. 11th International Conference on

Autonomous Agents and Multiagent Systems 467–474 (International

Foundation for Autonomous Agents and Multiagent Systems, 2012).

132. Jackson, M. The Human Network: How Your Social Position Determines Your

Power, Beliefs, and Behaviors (Knopf Doubleday, 2019).

133. Crandall, J. W. et al. Cooperating with machines. Nat. Commun. 9, 233 (2018).

This study examines algorithmic cooperation with humans and provides an

example of methods that can be used to study the behaviour of human–

machine hybrid systems.

134. Wang, D., Khosla, A., Gargeya, R., Irshad, H. & Beck, A. H. Deep learning for

identifying metastatic breast cancer. Preprint at https://arxiv.org/

abs/1606.05718 (2016).

135. Pentland, A. Social Physics: How Social Networks Can Make Us Smarter

(Penguin, 2015).

136. Lazer, D. et al. Computational social science. Science 323, 721–723 (2009).

137. Aharony, N., Pan, W., Ip, C., Khayal, I. & Pentland, A. Social fMRI: investigating

and shaping social mechanisms in the real world. Pervasive Mobile Comput. 7,

643–659 (2011).

138. Ledford, H. How to solve the world’s biggest problems. Nature 525, 308–311

(2015).

139. Bromham, L., Dinnage, R. & Hua, X. Interdisciplinary research has consistently

lower funding success. Nature 534, 684–687 (2016).

140. Kleinberg, J. & Oren, S. Mechanisms for (mis)allocating scientifc credit.

In Proc. 43rd Annual ACM Symposium on Theory of Computing 529–538

(ACM, 2011).

141. Kannel, W. B. & McGee, D. L. Diabetes and cardiovascular disease. The

Framingham study. J. Am. Med. Assoc. 241, 2035–2038 (1979).

142. Kraft, P. M., Macy, M. & Pentland, A. Bots as virtual confederates: design and

ethics. In Proc. 2017 ACM Conference on Computer Supported Cooperative Work

and Social Computing 183–190 (ACM, 2017).

143. Meyer, M. N. Two cheers for corporate experimentation: The A/B illusion

and the virtues of data-driven innovation. Colorado Technol. Law J. 13, 273

(2015).

144. Xing, X. et al. Take this personally: pollution attacks on personalized services.

In Proc. 22nd USENIX Security Symposium 671–686 (2013).

145. Patel, K. Testing the limits of the First Amendment: how a CFAA prohibition on

online antidiscrimination testing infringes on protected speech activity.

Columbia Law Rev. https://doi.org/10.2139/ssrn.3046847(2017).

1

本文经授权转载自集智俱乐部，ID: swarma_org

翻译：惠惠、陈曦

审校：郭瑞东

编辑：王怡蔺

原文地址：

https://www.nature.com/articles/s41586-019-1138-y#Abs1

---

新智元春季招聘开启，一起弄潮 AI 之巅！

岗位详情请戳：

【加入社群】

新智元 AI 技术 + 产业社群招募中，欢迎对 AI 技术 + 产业落地感兴趣的同学，加小助手微信号：aiera2015_2   入群；通过审核后我们将邀请进群，加入社群后务必修改群备注（姓名 - 公司 - 职位；专业群审核较严，敬请谅解）。