FCS Perspective|Thomas G. Dietterich观点：人工智能与人类组织的鲁棒性

点击上方蓝字

关注我们

导读

     本期FCS Perspective栏目——Robust artificial intelligence and robust human organizations（人工智能与人类组织的鲁棒性），是美国俄勒冈州立大学电气工程和计算机科学学院Thomas G. Dietterich教授受FCS主编之邀撰文。

       该文认为，技术越强大，设计的缺陷与人为的错误越会被放大。以“人工智能”（AI）为名的新兴技术的出现，可能为审视这种“错误放大”现象提供了许多契机。为避免这些灾难性的失误，人类和AI组织的协作必须具备高可靠性。高可靠性组织的工作指出了技术开发和政策制定的重要方向。

      该篇文章原文自在线出版后（详见文后“相关内容推荐”），引起了广泛关注。为使读者更精准地理解这篇文章，FCS特别邀请国内专家，对该文进行了翻译，以飨读者。

作者简介

       Thomas G. Dietterich（1977年欧柏林学院文学士; 1979年伊利诺伊大学硕士; 1984年斯坦福大学博士）1985年入职俄勒冈州立大学电气工程与计算机科学学院，现为该学院荣休教授。 Dietterich教授是机器学习领域的先驱之一，撰写了190余篇同行评议文章以及两本教科书。他的研究动机主要来源于现实世界的挑战性问题，尤其关注生态科学、生态系统管理、以及可持续发展方面的问题。他以机器学习中关于集成学习方法的研究而著称，包括所发展的纠错输出编码技术。Dietterich教授还发明了包括MAXQ方法在内的用于分层强化学习的重要强化学习算法。

     Dietterich教授为研究界贡献了多年服务。他是国际人工智能学会（AAAI）前主席，曾任国际机器学习学会创始主席。他的其他一些主要学术职务包括《Machine Learning》执行编委、《Journal of Machine Learning Research》共同创刊人、以及AAAI 1990与NIPS 2000程序委员会主席。他现任ArXiv机器学习类别主理人。Dietterich教授是ACM, AAAI以及AAAS会士。

Frontiers of Computer Science, 

https://doi.org/10.1007/s11704-018-8900-4

人工智能与人类组织的鲁棒性

作者：Thomas G. Dietterich教授 |美国俄勒冈州立大学 

特邀译者：张敏灵教授 | 东南大学

 背景

        技术越强大，设计的缺陷与人为的错误越会被放大。当一个人愤怒时，若他只用拳头无法伤及太多人，但若他有枪却可以在几分钟内杀害数百人。以“人工智能”（AI）为名的新兴技术的出现，可能为审视这种“错误放大”现象提供了许多契机。随着人类社会不断考虑在自动驾驶汽车、手术机器人、警务活动、关键基础设施管理、武器系统等场景中部署人工智能技术，人类用户导致的错误或软件中存在的错误可能会导致灾难性后果的发生。

       这些后果是不可避免的吗？在三里岛核电站故障发生后，Perrow [1]发表了《Normal Accidents》一书，他认为在任何足够复杂、有足够多反馈回路的系统中，灾难性事故是“normal”的—它们无法避免。

     作为对此的一部分回应，Todd LaPorte、Gene Rochlin、Karlene Roberts及其合作者和学生进行了一系列研究，探讨了运营高风险技术的组织如何设法规避事故[2]。他们研究了运营核电站、航空运输工具和电网的组织，定义了高可靠性组织（High Reliability Organizations, HROs）这一概念，并以HROs的5个属性来总结他们的发现：

     （1）极其关注失误。HROs认为尚未被观察到的失误模式是一定存在的，这些失误模式很少见，因此无法从现有经验中学习如何处理它们。从而，HROs仔细研究所有已知的失误模式、研究险兆，并将未失误的情况视为他们对于缺陷没有保持足够警惕性的标志。HROs鼓励报告所有错误和异常。

     （2）不愿简化解释。HROs培育多元化的专业知识体系，以便对于观察到的事件给出多种解释。他们采用多种形式的检查与权衡，并经常进行对抗性审查。他们雇用未经过传统培训的人员，进行工作轮岗，并致力于反复的再培训。为处理因多种解释而可能产生的冲突，HROs在雇佣和评价人员时，对其人际交往能力和专业知识水平并重考量。

     （3）对操作的敏感性。HROs在任何时刻都维持着一小组对态势具有深刻感知能力的人员。

该小组人员持续检查观测到的系统行为是系统已知输入的结果，还是其他外部因素在起作用。

     （4）保持适应能力。团队践行对意外情况的有效管理。HROs尝试以新颖的方式重组现有的动作和流程，以获得应对突发情况的高效技能。他们可快速组建特别小组，以机动解决所面临的新问题。

     （5）结构非固化。HROs授权每个团队成员均可做出与其专业知识相关的决策。任何人都可以发出警报并停止操作。当异常或险兆出现时，相关描述信息会在整个组织中传播而非遵循固定的报告路径，由此希望具有正确专业知识的人可以及时看到。虽然权力被代理至操作人员，但是管理在所有时刻均存在。

      Scharre [3]在其《Army of None》一书中提到，在神盾巡洋舰Vincennes意外击落一架伊朗民用客机导致所有乘客和机组成员身亡事件发生后，美国海军从此采用了高可靠性组织（HRO）的实践准则。神盾系统是一个自组织舰船防御系统。Scharre建议，对于自主武器系统的安全部署，使用该系统的组织需为高可靠性组织。

主要观点

        人工智能技术的开发和应用至少有三方面的教训。首先，我们的目标应该是创建可以成为高可靠性组织的人机结合的系统。我们应考虑如何在AI系统中采用上述五点原则。我们的AI系统应持续监控自身、人类团队以及环境的行为，以检查异常、险兆以及行动导致的意外副作用。我们的AI系统应该由不同模型的集成构建而成，从而降低任何一个模型包含关键错误所导致的风险。它们应采用最小化下行风险等技术提高系统对于模型错误的鲁棒性[4]。我们的AI系统必须支持人机结合的态势感知，这不仅需要出色的用户界面设计，还需要创建其结构可被理解、行为可被团队成员预测的AI系统。我们的AI系统必须支持人机结合的即时规划。对于即时规划而言，相较于执行固定的策略，结合实时规划的方法（移动域控制或模型预测控制）会更加适用。强化学习的研究者应该从人机交互规划系统中汲取经验[5]。最后，我们的AI系统应该拥有自己的专业知识模型和人类操作者的专业技能模型，这样系统可以在需要时将问题传达给合适的人。

       高可靠性组织研究带来的第二个教训是，我们不应该在相关人类组织无法实现高度可靠性的情况下部署人工智能技术。例如，采取法律强制手段部署人脸识别工具。南威尔士警方公布了在公共活动中15次部署人脸识别工具的结果，通过这15次部署，他们抓获了234名未竟逮捕令人员。与此同时，他们也经历了2,451次误报——误报率达91.3% [6]。这是许多人脸识别与欺诈检测应用的典型情况。为了确保100%的罪犯查全率，我们必须设置很低的检测阈值，从而导致高误报率。虽然我不了解南威尔士警方程序的细节，但很容易想象该组织可以通过仔细的程序结合（如人工检查所有警报，发现警报中的模式和异常，持续审查未竟逮捕令名单以及人脸库图像出处）实现高可靠性。但是，如果考虑将人脸识别技术引入美国警方所穿戴的“人体相机”的建议，当一名警员与被认为身有武装的人员发生冲突时，该警员是不具有仔细处理虚假人脸识别警报能力的。因此，很难想象一种组织设计可以让参与交火的警员正确处理这项技术。

       第三个教训是，我们的AI系统应该持续监控人类组织的功能，以检查对高可靠性的潜在威胁。随着AI技术的不断进步，检测团队中存在的过度自信、注意力下降、自满、惯性、同质化、顽固、傲慢、任性行为、虚荣等问题将变为可能。当检测到这些问题时，应该授权AI系统停止操作。

总结

       总的来说，与以往的技术进步一样，AI技术增加了人类组织和行动的失误被技术放大，并造成破坏性后果的风险。为避免这些灾难性的失误，人类和AI组织的协作必须具备高可靠性。高可靠性组织的工作指出了技术开发和政策制定的重要方向。非常关键的问题是，我们必须立即资助并探求这些方向；并且，确保AI技术的部署只在保持高可靠性的组织内进行。

参考文献

1. Perrow C. Normal Accidents: Living with High-Risk Technologies. Princeton: Princeton University Press, 1984

2. Weick K E, Sutcliffe K M, Obstfeld D. Organizing for high reliabil- ity: processes of collective mindfulness. Research in Organizational Behavior, 1999, 21: 23–81

3. Scharre P. Army of None: Autonomous Weapons and The Future of War. New York: W. W. Norton & Company, 2018

4. Chow Y, Tamar A, Mannor S, Pavone M. Risk-sensitive and robust decision-making: a CVaR optimization approach. In: Proceedings of the 28th International Conference on Neural Information Processing Systems. 2015, 1522–1530

5. Bresina J L, Morris P H. Mixed-initiative planning in space mission operations. AI Magazine, 2007, 28(2): 75–88

6. South Wales Police. 

https://www.south-wales.police.uk/en/advice/facial-recognition-technology/Accessed November 12, 2018 

相关内容推荐：

FCS Perspective：机器学习领域先驱者Thomas G. Dietterich教授观点分享

---

---

Frontiers of Computer Science

---

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社出版、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”。

---

长按二维码关注Frontiers of Computer Science公众号