Keras之父：我担心的是AI被社交媒体操控

会员服务 ·

Keras之父：我担心的是AI被社交媒体操控

2018 年 4 月 10 日 图灵教育 AI前线

本文由微信公众号「AI前线」原创，（ID：ai-front）

文末介绍了 François Chollet 大佬著作，正在翻译中的新书 Deep Learning with Python。

策划编辑 | Natalie

作者 | François Chollet

译者 | 核子可乐

编辑 | Emily

AI 前线导读：Facebook 泄漏用户数据的事件发酵至今，已然成了社交媒体史上最大的丑闻，并且在国内外各大媒体上掀起了无数讨论。

昨夜，谷歌工程师、著名深度学习库 Keras 的作者 François Chollet 在 medium 博客上发表了一篇文章，标题为“我为什么对人工智能感到忧虑”。François Chollet 认为，企业和技术开发人员不应该将人工智能当成操纵用户的工具，而应将其作为用户能够实际掌握的有力武器。截至发稿时间，这篇文章已经收获了 2200 多次赞赏。

在文章一开始，François Chollet 就表示，我们一直以来对于人工智能感到恐惧和忧虑的方向是错误的，就好像我们在 80 和 90 年对对于计算机技术的恐惧一样，这些恐惧心理主要源自非理性思维，而那些真正值得我们担忧的事态却并未引起人们的充分关注。

那么，到底人工智能的哪些问题才是我们真正应该为之感到忧虑的？技术人员又应该如何去应对这些问题？对于所有企业管理者和技术开发人员来说，本文都值得一阅。

更多干货内容请关注微信公众号“AI 前线”，（ID：ai-front）

以下内容为 François Chollet 在 Medium 上发表的文章“What worries me about AI”全文，由 AI 前线编译整理。

免责声明：本文仅代表我的个人观点，与我所在的企业无关。如果你引用本文内容，请忠于文内的个人结论，并根据实际情况作出客观判断。

如果你是八零后或者九零后，可能还记得如今早已不复存在的“电脑恐惧症”现象。直到二十一世纪初，这一问题还仍然存在——随着个人计算机全面进入我们的生活、工作场所以及家庭，很多人开始抱有焦虑、恐惧甚至是攻击性态度。虽然一部分人为计算机所吸引，并为其巨大的发展潜力而感到震惊及兴奋，但大多数人对这类技术并不了解。他们如同见到了不明飞行物，甚至将其视为严重威胁。换言之，人们担心自己被计算机技术所取代。

很多人对技术转变实际抱持着反感，甚至是恐慌的态度。虽然这种现象在任何变革当中都实际存在，但需要强调的是，我们所担心的大部分后果其实并不会出现。

几年之后，电脑爱好者们已经适应了与计算机共舞的生活，并借此帮助自己获得助益。计算机并没有取代人类的地位并引发大规模失业。相反，现在我们已经无法想象没有笔记本电脑、平板电脑以及智能手机的生活。对威胁的敏感转化成了对现状的肯定。但与此同时，我们以往曾经担忧的、可能由计算机及互联网产生的威胁，实际上开始以另一种形式出现并带来困扰。在上世纪八十或九十年代，大多数人还根本想象不到如今无处不在的大规模监视、基础设施或个人数据遭到追踪、社交媒体上的心理异化、用户耐心与专注能力的丧失、思想更易受到政治或宗教激进化言论的影响，以及敌对外国势力劫持社交网络以破坏西方国家民主制度等现实问题。

如果说我们原本抱有的大部分恐惧心理源自非理性思维，那么如今由技术变化引起的大部分真正令人担忧的事态当时实际并未引起人们的充分关注。一百年前，我们无法真正预测到运输与制造技术将掀起工业革命，并最终在两次世界大战当中吞没数千万个鲜活的生命。我们也没有意识到电台的兴起会促成一种新的大众宣传形式，并最终推动意大利与德国法西斯主义的兴盛。而上世纪二、三十年代理论物理学的发展，也没能让人们意识到其将很快以热核武器的形式令整个世界永久性处于毁灭边缘的威胁之下。到如今，即使数十年来一直困扰人类的核心问题——气候问题——的警报早已拉响，但美国大部分（44%）的民众仍选择加以无视。作为文明社会下的个体，我们似乎很难正确识别未来威胁并抱以合理的担忧或审慎态度；但在另一方面，我们又很容易因非理性判断而感到恐慌。

当下，与以往一样，我们再次面临着一场根本性的变革浪潮：认知自动化。或者，我们也可以用人工智能对其加以概括。而且与过去一样，我们仍然担心这种新型技术会损害人类自身的利益——人工智能可能导致大规模失业，或者其将获得自主权并成为一种超人类“物种”，最终选择摧毁人类以实现世界大同。

图片来源: facebook.com/zuck

但是，我们的担心方向仍然是错的——正如过去一样。如果人工智能的真正威胁，并不在于大多数人目前最关注的“超级智能”或者“奇点理论”呢？ 在本篇文章中，我想讨论在人工智能方面大家真正应该担心的问题：人工智能所能实现的对人类行为的高效、高度扩展能力，在受到恶意操纵后将给企业及政府带来怎样的影响。当然，认知技术发展还将产生其它有形风险，特别是与机器学习模型内负面偏见相关的问题。但本篇文章将专注于讨论大规模人工智能操纵议题，这主要是考虑到其确实拥有极高的风险，且往往为人们所忽视。

这种风险已经成为现实，并将在未来几十年中伴随着长期技术发展而继续升级。随着我们的生活正日趋数字化，社交媒体对我们生活及思维方式的判断将愈发准确。与此同时，他们开始越来越多地利用行为控制介质——特别是通过新闻传播算法——控制我们的信息消费途径。这意味着人类行为将最终成为一类优化问题，或者说一类能够利用人工智能解决的问题：社交媒体企业可能反复调整其控制手段，从而达成特定目标。 这就像是游戏 AI 会根据得分持续调整自身游戏策略，最终顺利攻克当前关卡。这一过程中的惟一瓶颈在于循环当中的算法智能水平。目前各大社交网络企业正投入数十亿美元进行人工智能研究，为的正是突破这一瓶颈。

下面，请允许我作出具体阐述。

社交媒体代表着一种宏观心理走向

过去二十年中，我们的私人及公开生活已经全面转移至网络之上。我们盯着屏幕的时间变得越来越长。整个人类社会都在转向新的层面，即我们的大部分工作都以数字信息为载体，整个国家的消费、修改或创造活动也以数字信息为根基。

这种长期趋势的一大副作用在于，企业与政府正在收集与个人相关的大量数据——特别是通过社交网络服务进行信息采集。我们与谁交流，我们说了什么，我们一直在消费什么内容——包括图片、电影、音乐新闻等，我们在特定时段内心情如何甚至是我们的一切感知与行动，最终都会被记录在某台远程服务器当中。

在理论上，这些数据能够帮助收集方为个人及群体建立起非常准确的心理状况描绘。我们的观点与行为可能与成千上万类似的个人交叉关联，最终得出看似不可思议的理解结论——而这些结论要远比单纯的内省更具预见性（例如，Facebook 喜欢利用算法作出甚至比好友印象更准确的用户个性归纳）。这些数据可提前预测你将何时开始新的往来关系（以及往来对象），以及何时结束当前的交往关系。此外，哪些用户存在自杀风险、你在选举当中投票支持哪一方（即使我们自己也还不清楚）等都能够得到相当准确的总结。这种分析能力不仅仅作用于个人层级——成规模的群体将更具可预测性，因为平均行为会消除随机性及个人异常等因素。

将数字化信息消费作为心理控制向量

当然，被动数据收集绝不是其最终目的。社交网络服务也开始越来越多地控制我们的消费信息。我们在新闻当中看到的内容已经变成了经过策划的产物。不透明的社交媒体算法将帮我们决定应阅读哪些政治文章、观看哪些电影预告片、应与哪些人保持联系，并在表达个人观点后收到哪些意见反馈。

结合多年来的报道与分析，可以肯定的是如今的信息消费管理算法已经在我们的个人生活中掌握着相当大的权力——甚至我们是谁以及我们将成为谁这类问题，都将由其给出答案。设想一下，Facebook 长年来决定着你能够看到的新闻内容（无论真假），那么大家的政治立场也会有所变化——这意味着 Facebook 将最终控制我们的世界观与政治立场。

Facebook 的业务核心在于给人们带来影响。这也正是其向买家出售的主要服务——广告客户，特别是政治广告客户。事实上，Facebook 公司已经构建起一套微调算法引擎，其不仅能够影响你对某个品牌或者下一款欲购产品的看法，甚至能够左右大家的情绪、调整交付内容以轻松使你生气或者快乐。最终，它甚至有能力控制选举结果。

人类行为属于一种优化问题

简而言之，社交网络公司能够追踪我们的一切，并控制我们所能消费到的信息。这样的趋势正在加速推进。事实上，目前全部涉及感知与行动的问题，都在一定程度上属于人工智能问题。 我们可以为人类行为建立一套优化循环，在这个循环中，大家能够观察目标的当前状态并不断调整为其提供的信息，直到得出自己想要的意见及行为。目前，人工智能领域的一大重要组成部分——特别是强化学习——其核心就在于开发算法以尽可能高效地解决这些优化问题，从而关闭循环并实现对目标的完全控制。换言之，即是对我们人类的完全控制。在将生活转移至数字化领域的过程当中，我们将更容易受到规则，特别是人工智能算法所制定的规则的影响。

面向人类行为的强化学习循环

由于人类思想非常容易受到简单社交操纵模式的影响，因此这项工作变得非常轻松。举例来说，请考虑以下攻击向量：

身份强化：这是自广告业诞生以来就一直被广泛使用的老派伎俩，但却始终效果出众。具体方法包括将特定视角与你确定的标记加以关联，从而在社交媒体消费环境中控制算法以确保你只能看到视角位置与身份标记相匹配的内容（包括新闻故事以及来自好友的帖子），同时排除其它与你身份不符的内容。
负面社交强化：如果你发表的文章中表达了控制算法不希望你持有的观点，则系统可以选择仅向持反对观点的用户展示你的帖子（可以是熟人，也可以是陌生人甚至机器人），对方会对此加以严厉批评。反复多次之后，这样的社交反馈可能使你偏离自己最初的观点。
正面社交强化：如果你在发表的文章中表达了控制算法希望你持有的观点，则其会选择只将内容显示给愿意“点赞”的人（甚至可能是机器人），这会加强你的信念，并感到自己受到多数人的支持。
采样偏差：算法也可能向你更多展示支持你所持观点的朋友（或者媒体报道）。在这样的信息泡沫当中，你会觉得此类观点拥有极高的支持率——尽管实际情况可能并非如此。
参数个性化：算法可能会观察到，在某些心理属性与你相近的群体当中，某些特定内容往往更容易引发立场转换。在这样的基础之上，算法可能会根据特定观点与生活经历发布针对性内容，从而高效完成立场扭转。从长远角度讲，该算法甚至可能完全通过捏造创建特别适合你本人的“个性化”内容。

从信息安全的角度来看，上述作法可以被称为“安全漏洞”，即已知且可用于入侵系统的攻击手段。就人类头脑而言，这些漏洞永远无法得到修复，因为其正是我们的思维方式所在。它们存在于我们的 DNA 当中。人类思想属于一套静态且易受攻击的系统，并将越来越多地受到智能 AI 算法的攻击。这些算法能够全面掌握我们所做以及所相信的事情，并借此完全控制我们所能消费到的信息内容。

现状评述

值得注意的是，将人工智能算法应用于我们的信息消费，从而实现大规模人口操纵——特别是政治控制——往往并不需要使用特别先进的人工智能方案。在这样的诉求之下，拥有自我意识的超智能 AI 系统显然有些浪费，即使是现有技术也已经能很好地完成这项任务。社交网络企业已经进行了多年研究，并获得了显著的成果。尽管他们目前的目标可能仅仅是最大程度“参与”并影响你的购买决定，而非操纵你对于整个世界的看法，但他们开发出的工具已经被敌对国家势力用于实现政治目的——包括 2016 年英国脱欧公投以及 2016 年美国总统选举。然而，既然大规模人口操纵已经成为可能，为什么整个世界还没有彻底沦陷？

简单来讲，这是因为我们对人工智能的接纳程度还不够高。而这一切可能很快发生变化。

截至 2015 年，整个广告行业的定位算法仍然运行在逻辑回归基础之上。这一状况在如今也依然存在——只有规模最大、实力最雄厚的企业才能够转向更先进的模式。逻辑回归是一种早于计算时代即已经出现的算法，亦是实现个性化效果的基本技术之一。也正因为如此，我们现在还会在网络上看到大量与自身需求毫无关联的广告。同样的，敌对国家用于影响公众舆论的社交媒体机器人也几乎没有全面采用 AI 技术。就目前来讲，它们还非常原始。

然而，机器学习与人工智能近年来取得了快速发展，而且其相关成果被迅速部署至针对性算法及社交媒体机器人当中。深度学习到 2016 年才被引入新闻传播与广告网络。Facebook 在人工智能研究与开发方面投入了大量资金，并明确希望成为这一领域中的领导者。那么在社交媒体场景之下，建立自然语言处理与强化学习能力到底会给企业带来怎样的收益？

很简单，对于 Facebook 这样一家拥有近 20 亿用户的企业，其能够对如此庞大的用户群体构建细致的心理特征模型，并操纵其新闻来源以进行行为实验，最终开发出前所未见的强大人工智能技术方案。就个人而言，这样的状况让我感到恐惧。但更可怕的是，Facebook 甚至并不是最值得担心的威胁。举例来说，部分极权国家正利用信息控制实现前所未有的管控能力。虽然很多人认为大型企业才是现代世界中的全能统治者，但其拥有的权力尚远不能与政府相提并论。在利用算法进行思维控制方面，政府才最有可能成为这一切的幕后黑手。

那么，我们该如何应对？我们该如何保护自己？作为技术从业者，我们应该如何避免这种由社交新闻传播引发的大规模民意操纵行为？

硬币的另一面：人工智能能为我们做些什么

最重要的是，这种威胁的存在并不代表所有算法策略都不值得信任，或者说所有针对性广告都是为了洗脑。事实上，二者也能够带来巨大的实际价值。

随着互联网与人工智能的兴起，将算法应用于信息消费并不仅仅是一种必然趋势——而是一种理想的趋势。随着日常生活的数字化与联网水平提升，随着整个世界的信息变得愈发密集，我们需要人工智能充当我们与世界的接口。从长远角度来看，教育与自我发展将成为人工智能最具影响力的应用方向。这种帮助将以动态形式发生，且几乎与试图操纵我们思维的恶意人工智能采取完全相同的套路——只不过这一次是出于善意。信息管理算法能够帮助我们尽可能发挥个人潜力，并通过更好的自我管理建立更美好的人类社会。

因此 问题不在于人工智能本身，而在于控制。

我们不该利用新闻推送算法操纵用户——例如扭转其政治立场，或者浪费他们的宝贵时间。我们应该让用户成为由算法负责加以优化的目标。毕竟，对于想看到的新闻、世界观、朋友乃至个人生活，我们应该拥有自主权与控制能力。信息管理算法不应是我们为了实现某种利益而创造的神秘力量 ; 相反，其应该成为我们真正能够掌控的工具。更具体地讲，其应该是我们可以用于实现既定目标的工具——例如教育与个性培养，而非娱乐。

下面是我的想法——任何采用算法的新闻推送机制都应：

以透明方式公布算法当前正在优化的目标，以及这些目标如何影响你的信息消费效果。
为用户提供直观的工具以亲自设定这些目标，例如用户应该可以配置自己的新闻来源，从而立足特定方向尽可能推动学习及个人成长。
以始终可见的方式衡量你在这些信息上花费了多少时间。
提供多种功能工具以控制你在信息消费方面投入的时间——例如制定每日时间目标，算法将通过该目标提醒你离开电脑回归现实生活。

在保持控制的同时利用人工智能强化自己

我们应当构建起能够切实为人类服务的人工智能，而非出于利润或政治利益而对其加以操纵。很明显，新闻推送算法不应像赌场运营商或宣传员那样“三观不正”；相反，它们应该更像是一位导师或者优秀的图书管理员，其根据对个人及其他数百万与你相似人士的心理学理解为你推荐书籍、引起共鸣并助你成长。它应该是一种能够与你生活相匹配的引导工具——通过为你建立起体验空间内的最佳路径，你将在人工智能的帮助下顺利抵达目的地。在这样的情况下，你将能够立足同类群体审视自我、与拥有丰富阅历积累的系统一同学习，并与这样一位掌握着当前人类全部知识储备的“助手”共同进行学术研究。

在实际产品当中，用户应完全控制与自己交互的人工智能。通过这种积极的方式，你将能够更有效地实现自己的既定目标。

建立反 Facebook 模式

总而言之，未来人工智能将成为我们与数字化世界间的接口。这将赋予个人更灵活的控制权，甚至让组织机构逐步消亡。遗憾的是，社交媒体目前无疑是走错了路。但好在我们还有时间，足以扭转这一不利局面。

作为人工智能行业的成员，我们需要开发产品与市场，通过各种激励措施让用户与对其产生影响的算法保持一致，而非利用人工智能操纵用户判断并获取利润或政治利益。更具体地讲，我们需要建立反 Facebook 模式。

未来，这些产品可能会以 AI 助手的形式出现。从目前来看，搜索引擎就可以算是一种 AI 驱动型早期信息接口。其为用户服务，而不会试图控制用户的心理倾向。搜索是一种用于达成特定目标的工具，它只会向用户展示我们实际想要看到的内容。通过这种高效的方式，搜索引擎会尽可能减少从问题到答案、从问题到解决方案的引导时间。

有些朋友可能会怀疑，既然搜索引擎属于我们与我们所消息信息之间的人工智能层，那么其是否会调整结果来实现操纵我们的目的？没错，每一种信息管理算法都存在着这样的风险。但与社交网络不同的是，这种情况下的市场激励方向实际上与用户需求保持一致，这也促使搜索引擎尽可能保持相关性与客观性。如果其无法发挥确切作用，用户将很快转向其它更公正的竞争产品。更重要的是，搜索引擎的心理影响空间要比社交新闻推送小得多。我们在本文中提到的种种人工智能威胁，往往需要满足以下条件才能在产品中得以体现：

感知与行动：产品不仅能够控制向用户展示的信息（新闻与社交更新），同时也能够通过“点赞”、聊天消息与状态来“感知”用户目前的心理状态。如果缺少这两种认知能力，其将无法建立强化学习循环。
成为我们的生活中心：产品至少应是部分用户的主要信息来源，且典型用户每天应耗费数小时时间使用该产品。相比之下，辅助性的专用推送机制（例如 Amazon 产品推荐）则不会构成严重威胁。
成为一种社交组成部分，使得更广泛且更有效的心理控制（特别是社交强化）成为可能。这意味着非个性化新闻推送只占我们所接收信息的一小部分。
商业激励旨在操纵用户，并引导用户在产品身上耗费更多时间。

大部分 AI 驱动型信息管理产品并不符合上述要求。另一方面，社交网络则是各因风险因素的恐怖集合体。作为技术专家，我们应该倾向于那些不存在上述特征的产品，并对存在此类滥用危险的产品持抵制态度。因此，我们应建立搜索引擎与数字化助理，而非社交新闻。以透明化方式设计推荐引擎，确保其具备可配置性与建设性。此外，打造出色的用户接口、用户体验与人工智能专业知识，同时为算法构建出色的配置面板，保证用户能够按照自己的意愿使用产品。

重要的是，我们应当向用户传达上述观念，以帮助其拒绝操纵性产品。由此产生的市场压力，将推动技术行业朝着真正健康的方向迈进。

总结：我们正站在通往未来的岔路口

社交媒体不仅能够为个人及群体建立强大的心理模型，还在越来越多地控制我们的信息消费方式，并通过一系列富有成效的心理效应操纵我们的信念、感受以及行为。
足够先进的人工智能算法能够持续循环访问我们的心理状态与能够体现心理状态的行为，从而有效操纵我们的信念与行为。
利用人工智能作为我们的信息接口本身，并不是问题所在。 如果加以良好设计，这些人工智能接口完全能够为人类带来更大的收益与权利。关键在于，用户应该能够全面掌控算法目标，并将其作为工具用以追寻自己的目标（正如使用搜索引擎一样）。
作为技术人员，我们有责任拒绝那些无法控制的产品，并致力于构建对用户负责的信息接口。不要将人工智能当成操纵用户的工具，而应将其作为用户能够实际掌握的有力武器。

我们面前有两条道路，一条通向令人不寒而栗的未来，另一条则通往更为个性化的明天。好在我们还有时间慢慢思考与选择。但需要强调的是，无论大家是否在乎，作为数字化世界的参与者，你的选择会对全人类造成影响。因此，请务必以负责任的态度审视这个问题。

阅读原文链接：https://medium.com/@francois.chollet/what-worries-me-about-ai-ed9df072b704

本文由「AI前线」授权转载。AI前线面向AI爱好者、开发者和科学家，提供最新最全AI领域技术资讯、一线业界实践案例、搜罗整理业界技术分享干货、最新AI论文解读。每周一节技术分享公开课，助力你全面拥抱人工智能技术。欢迎扫码关注！

AI前线-01.png