Facebook AI“失控”事件，一个瑕疵引发的妖魔化闹剧

来源 创新工场公众号
量子位 经授权转载

AI失控！奇点来临？这些看上去就让人爆炸的字眼，在过去的几天里，通过媒体和社交网站持续发酵。AI阴谋论甚嚣尘上。

大家关心并担忧未来，是否正如末日预言家所说，超级AI会接管世界，并像消灭病菌一样消灭人类？

有趣的是，对未来AI的担忧和恐慌，竟和100多年前中国的一段历史非常相似。

奇点来临，
机器人大反派降生了？

事件起源于Facebook 6月发表的一篇论文。论文描述了他们进行的一项科学实验：训练两个人工智能机器人对话交流，提升谈判能力。

Facebook的研究人员希望通过训练聊天机器人，让它带着“目的”和人类对话。他们给机器人两本书、一顶帽子和三个篮球，让它们通过谈判拿到最多的物品。这个过程中，为了产生数据，机器人做了大量的自我练习，就像AlphaGo左右手互搏练习围棋一样。

这场实验的重点，在于如何使程序进行有效的谈判和沟通。研究人员完成了他们的实验，并且发现，人工智能甚至能够对不想要的东西伪装出兴趣。

论文发布后，实验的重点并没有得到媒体大面积的关注，相反，实验过程中的一个小瑕疵，引发了媒体和大众的狂欢。

聊天机器人Alice和Bob在实验中意外产生了让人看不懂的对话。它们使用的虽然是英语单词，但在语法上没有任何意义，看起来像是一堆乱码。

Bob:I can can I I everything else.

Alice:Balls have zero to me to me to me to me to me to me to me to me to.

翻译过来是：

Bob：我能能我我所有其他事。

Alice：球没有对我对我对我对我对我对我对我对我对。

The Atlantic《大西洋月刊》首先关注到这件事。在6月15日当天的报道中，使用了标题 “Artificial Intelligence Developed Its Own Non-Human Language”（人工智能发展出了自己的非人类语言）。

△ The Atlantic报道

之后，Fast Co. Design和Digital Journal发表文章，强调研究人员在发现AI机器人不再使用常规英语后，紧急“关停”了这一项目。

△ Digital Journal报道

随后一周里，这些报道在各个科技网站以及新闻网站上逐步扩散。英国媒体《每日电讯报》、《镜报》等新闻媒体也发布了诸多相关的夸大报道。《太阳报》则说，专家在Facebook的AI发展出自己的语言后发出警告，“机器人智能非常危险”。

这些报道在网络上引发了公众的兴趣。在Facebook主页的相关新闻下，留言中大量出现《终结者》、《复仇者联盟》中的“奥创”等人工智能机器人大反派的名字。大家都在猜测，传说中的奇点是不是已经到来了？

△ 新闻引发网友热议

聊天机器人会“失控”？
埃隆·马斯克可不这么想

传言持续发酵，让几位参与项目的Facebook研究人员坐立难安，不得不出面澄清。

Dhruv Batra称这些断章取义的报道是“标题党并且不负责任”。他在Facebook上发文称：

虽然对外界人士来说，AI机器人发明了自己的语言这样的说法可能令人担忧并且意外，但其实这是AI研究中一个发展相对成熟的副领域，相关文献可以追溯到几十年以前。

简单来说，在尝试完成任务时，机器人经常会采用一种更为复杂曲折的方法以获得最大化的奖励。对奖励函数进行分析，更改试验参数，并不意味着“切断电源”或者“关停AI”。不然，每当AI研究人员在机器上终结一项任务时，都可以叫做“关停AI”。

△ Dhruv Batra在Facebook发表澄清

实验初期本来是允许机器修改语言的。研究人员为系统设置激励条件时，告诉它们“请用英文”，但并未告诉它们 “请用英文语法”。结果两台机器不管语法，将语言过分修改，产生了很多无意义的对话。发现后，研究人员便关掉了修改语言的选项，然而这并不是“关停AI”。

Edward在Twitter上对一篇报道表示不满，“难道你们就没有其他编辑可用了吗？”

另一位研究员hardmaru发推文表示，“《自AI发明了自己语言后Facebook关闭了它》这篇报道的题目非常不负责任，作者应该对它感到羞耻”。

事实上，机器人聊天是目前AI应用的诸多领域之一。谷歌Alphabet以及埃隆·马斯克发起的OpenAI近期也进入了这一方向。有些机器人已经发展出了自己独特的交流风格，研究人员正对其进行不断的调试。

让人印象深刻的是，埃隆·马斯克是“AI末日论”坚定的传道者，几天前还与Facebook创始人扎克伯格辩论。如果AI聊天机器人会失控，估计马斯克不会轻易尝试。

对人工智能的恐惧，
或许是100多年前的历史回魂

不管是否出于刻意，媒体夸大事实甚至制造流言的做法，让公众对AI产生了怀疑，也让参与该项目的Facebook研究人员感到愤怒和委屈。

“大众以及部分媒体、自媒体，对AI的理解很多来自科幻电影，而科幻电影里面的AI超级智能，是有生存意识甚至阴谋论的。所以看到这类科研结果，就会断章取义，往科幻片方向想。” 创新工场（chuangxin2009）董事长李开复说。

末日预言家的恐吓让媒体和公众加重了对AI的担忧。

霍金在全世界享有盛誉，但他认为人工智能的崛起可能是人类文明的终结。

埃隆·马斯克同样信奉AI末日轮。“研究AI，好比在召唤恶魔。”他说，如果人工智能在多个领域超越人类，人类将面临大规模失业的危险，生活因此会变得毫无意义。

霍金和马斯克的观点拥有诸多拥趸。在AlphaGo击败李世石前后，马克·扎克伯格发了一条贴文，称Facebook也有自己的人工智能，能够在围棋比赛中击败人类。

“你为什么就不能放过这一古老的游戏，让它不受任何虚拟玩家的干涉？我们真的所有一切都需要人工智能吗？”到2016年6月，这条帖子已经收到了超过85000条表情反馈和4000条评论。

有趣的是，对未来AI的担忧和恐慌，和100多年前中国的一段历史非常相像。

1865年8月，英国商人杜兰德在宣武门外铺设了一条长约半公里的铁路。从未见过火车的清朝人，被“以小汽车行驶其上，其迅疾如飞”的景象吓得不轻，以至“诧所未闻，骇为妖物，举国若狂”。

△ 晚清铁路

这段铁路很快被“饬令拆卸”。在此之前，面对洋商多次修筑铁路的请求，清政府都以“失我险阻，害我田庐，妨碍我风水”的理由严厉回绝。

10年后，英国怡和洋行擅自在上海修建了一条十余公里长的铁路，以便输送货物和旅客。清政府得知后即愤怒又尴尬，不得不以28.5万两银子的重价赎回，并拆毁铁轨、铲平路基、推倒车站。这些器材在海滩上风吹雨淋，很快变成了废铁。

清朝官员对铁路排斥历时弥久，厌恶的原因之一是担心“失业”，害怕铁路修成后，沿线舟车挑夫、行栈铺房无以为生，必将聚为流寇。

巧合的是，今天抵制AI的人，最大的反对理由也是“失业”。

—— 完 ——

活动报名

8月9日(周三)晚，量子位邀请三角兽首席科学家王宝勋，分享基于对抗学习的生成式对话模型，欢迎扫码报名 ▼

加入社群

量子位AI社群6群即将满员，欢迎对AI感兴趣的同学加入，加群请添加微信号qbitbot2；

此外，量子位的专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请添加微信号qbitbot2，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI

վ'ᴗ' ի 追踪AI技术和产品新动态