AI算法与道德规则如何平衡？IBM推出AI推荐技术

2018 年 7 月 18 日 乌镇智库

本文来自VentureBeat，作者Ben Dickson

雷锋网李诗编译

近两年，以今日头条为代表的信息推荐引擎大火，根据用户的阅读行为，AI算法可以精准地把握用户喜好，为用户推荐他们爱看的内容。这样，信息推荐引擎不断给用户推荐用户喜欢的内容，用户花在应用内的时间就会越来越多。

但是，这似乎是公司想要得到的结果，却并不一定完全有利于用户。通常来说，我们想要看到的、喜欢看到的内容，并不一定是我们应该看到的、需要看到的。这也是今日头条等依靠算法进行内容分发的公司面临的一大困境：如何平衡在以点击率高的内容获得用户的注意力和时间的同时，给用户提供高质量、有价值的内容。

...

为了解决这一难题，IBM的研究员和麻省理工媒介实验室（MIT Media Lab）发展出了一种AI推荐技术，能够兼顾用户的喜好，同时也不会打破任何行为、道德准则。IBM团队已经论证了这种AI推荐技术，他们首先将其运用在了电影推荐系统，其可以允许家长为孩子设置一些内容限制。

图片|IBM

来源：互联网

此前，已有不少人将道德规则与AI算法相结合的尝试，但是它们主要是基于静态规则。例如，用户可以指定算法避免推荐特定类别的新闻。虽然这种方法可以在某些环境中使用，但它有其局限性。

IBM研究员Nicholas Mattei说：“定义明确的规则集很容易，但是在数据量庞大的互联网上，你没法穷尽所有的规则，好让机器去一一遵循。”

为了解决这个问题，Mattei和他的同事开发的方法使用机器学习从实例中定义规则。 Mattei说：“我们认为，通过实例学习什么是合适的，然后转移这种理解，同时仍然对在线奖励反应是一个非常有趣的技术问题。”

...

从案例中学习道德规则

研究人员选择电影推荐来作为demo，主要有两个原因：首先，我们已经有相当多的电影相关数据，其次，在电影领域，用户偏好和道德规范之间的差异清晰可见。例如，父母不希望孩子观看一些内容，而孩子却对这些内容表现得很积极，算法很容易学习到这种积极的行为。

AI推荐技术有两个不同的训练阶段。第一阶段是离线的，这意味着它发生在系统开始与最终用户交互之前。在此阶段，仲裁者给系统一些案例来定义推荐引擎应应该遵守的约束。然后，AI会检查这些案例以及与它们相关的数据，以创建自己的道德规则。

图片|电影分级制度

来源：互联网

与所有机器学习系统一样，提供给系统的案例越多，数据越多，创建规则的效果就越好。在电影推荐这个demo中，在离线训练阶段，父母向AI提供一组适当和不适当内容的示例。Mattei说：“系统应该能够从这些例子中学习，并使用这些例子，在孩子观看内容时，避免推荐某些类型的内容。”

第二个数据训练阶段发生在线上，与最终用户直接互动。与传统的推荐系统一样，AI试图学习用户的偏好，给用户推荐用户喜爱的内容来获得最大的奖励。在很多时候，满足道德约束和用户偏好两者很可能发生冲突。仲裁者可以设置一个阈值，定义道德约束和用户偏好两者分别能获得多少优先级。在IBM提供的电影推荐Demo中，有一个滑块允许父母选择，道德原则和孩子的偏好，分别能占据多大的比例。

从电影推荐的例子中，我们也能很容易看出这套系统如何解决其他与AI推荐系统工作方式相关的问题。IBM研究人员还在医疗保健中测试了该技术，他们通过在药物成功变量和生活质量限制之间建立平衡，成功地在药物剂量中使用该算法。

该团队还致力于改进系统可以训练的示例类型。研究小组的负责人Rossi说：“我们还尝试了不一些不只是‘是或否’的例子，而是像优先事项那样的事情，这样我们就可以在提供道德行为示例方面更加清晰。”

...

如何让个人用户约束自己？

未来，研究团队将致力于使AI能够在更复杂的情况下工作。Rossi说：“在这个用例中，我们专注于单一建议，例如是否应该推荐特定的电影，我们计划扩大这项工作，以便能够对行动序列施加限制。”

这样的改变将使算法能够解决其他类型的问题，例如“过滤泡泡” (filter bubbles)和“技术成瘾”。

“过滤泡泡”这个概念由Eli Pariser在2010年提出，指的是在算法推荐机制下，高度同质化的信息流会阻碍人们认识真实的世界。

“技术成瘾”的可能情况则是，一个无害的动作（例如检查手机上的通知或从有偏见的来源阅读新闻）在长期重复，或者与其他相似的行为组合起来时，会产生不利的影响。

虽然Rossi和她的同事开发的方法在亲子电影推荐或医患情况下表现良好，但在只涉及一个用户的环境中会遇到限制，而我们在互联网上使用的大多数应用程序，都是一个人的行为。在这种情况下，用户将负责定义他们自己的道德准则和约束。