“推荐算法”究竟是什么?人大《算法向善与个性化推荐发展研究》报告帮你快速了解,附48页pdf

2022 年 2 月 9 日 专知

算法究竟是什么?我们为什么需要算法?

算法是否能服务人在获取信息时对效率提升、公平发展的诉求?

今年,在中国人民大学高瓴人工智能学院举办的“推荐算法社会价值与可持续发展”研讨会上,布了《算法向善与个性化推荐发展研究报告》(下称《报告》)。

在这份算法科普性报告中,课题组围绕这些热点问题进行了探讨。


1、算法是什么?我们为何需要算法?

互联网数据中心发布的《数据时代2025》报告显示,全球每年产生的数据将从2018年的33ZB(十万亿亿字节)增长到175ZB,相当于每天产生491EB(百亿亿字节)的数据。

在本质上,算法是“以数学方式或者计算机代码表达的意见”。其中,推荐系统就是一个信息过滤系统,帮助用户减少因浏览大量无效数据而造成的时间、精力浪费。

图1 :用数学公式解决“鸡兔同笼”问题体现了算法思维

图2:推荐算法帮助“宝妈”节省信息搜索时间

2、推荐技术发展历史上的关键事件有哪些?

“信息过载(Information Overload)”是在上个世纪80、90年代就已经存在的概念。随着信息技术和互联网的快速发展,人类从信息匮乏时代走向了信息过载时代。

《报告》研究指出,早期的研究提出了通过信息检索和过滤的方式来解决这个问题。

到了上世纪90年代中期,研究者开始通过预测用户对推荐的物品、内容或服务的评分,试图解决信息过载问题。推荐系统由此也作为独立研究领域出现了。

图3:推荐系统发展历史

3、推荐系统有哪几个类型?

在《报告》看来,推荐系统发展至今,其核心技术可大致分为“基于协同过滤的推荐方法”、“基于内容的推荐方法”,以及“混合推荐方法”。

基于协同过滤的推荐方法,本质是根据相似的用户具有相似的喜好,推荐给他们喜欢的物品、内容或者服务。

图4:基于协同过滤的推荐方法

基于内容的推荐方法:根据项的相关信息(描述信息、标签等)、用户相关信息及用户对项的操作行为(评论、收藏、点赞、观看、浏览、点击等),来构建推荐算法模型。

图5:基于内容的推荐方法

混合推荐方法:衡量各推荐方法的利弊,扬长避短,通过加权、切换、混杂、特征组合等方式避免或弥补各推荐技术弱点,进一步提升推荐方法性能。

图6:融合知识图谱的混合推荐方法

4、什么是个性化推荐算法?

纵观推荐系统的发展历史,可将其大致分为非个性化推荐系统和个性化推荐系统。

其中,个性化推荐系统,就是为每一个特定用户提供特定的服务,实现“千人千面”,服务个性化诉求

图7:在个性化推荐算法下,不同人搜索“京剧”一词结果不同

5、推荐算法,会导致信息窄化吗?

在外界的印象里,个性化推荐就像漏斗一样,会将推荐内容与用户相匹配,倾向于向用户推荐高度符合其偏好的内容,致使推荐的内容越来越窄化。

但与外界的固有认知相反,《报告》认为在行业实践中,互联网应用(特别是位于头部的大型平台)有追求算法多样性的内在动力。

在对行业内代表性应用的数据分析后,《报告》发现,阅读内容的类型数量是否够多、所阅读内容类型的分散程度是否够高,与用户是否能长期留存关联密切,呈正相关。上述两项指标对用户长期留存的作用,可以与信息的展现总量、用户的停留时长、用户阅读量等指标的影响相媲美。

推荐技术并不是单纯地“投其所好”。在一些专家看来,在推荐已知的用户感兴趣内容基础上,如果能深入激发、满足用户的潜在需求,那么算法就能更好地满足人对信息的多维度诉求。

图8:贵州返乡创业青年丁浪用抖音号@黔东农仓 记录腌蒜苔制作过程。在推荐系统的帮助下:1)视频能被准确推荐给对乡村美食、农特产品感兴趣的用户;2)用户能顺势在同屏搜索框中搜索、了解蒜苔烹饪相关内容,扩展相关知识。

6、算法如何服务人对安全的诉求?

在人工智能技术快速发展的今天,内容安全一直是公众关注的重点。

《报告》观察发现,当前很多内容创作与分发平台,从创立之初就将用户和内容安全视为最高优先级问题。

以今日头条为例,在内容安全技术方面采用了鉴黄模型、谩骂模型以及低俗模型等内容识别技术。抖音安全中心则自主研发反欺诈模型、风控策略,结合抖音产品功能、内容属性、用户行为特征,对欺诈行为进行主动拦截。

图9:抖音安全中心通过算法技术主动拦截欺诈行为

7、推荐技术如何服务人对公平的诉求?

《报告》认为,推荐系统中的“公平”是站在不同角度定义问题。

比如在招聘网站上,求职者方可能将公平定义为“相同的学历和能力可以被推荐类似的工作,而不受国籍、种族和性别等偏见”;对于招聘方,“公平”可能为“系统可以将他们的招聘信息推给优质的求职者,而不会因为公司的背景等因素,只将招聘信息推给不太合适的求职者”。

从关注的角度出发,《报告》认为公平性可分为“用户角度”、“物品角度”这两种公平性

用户偏好放大是针对用户方(user)的公平性问题,体现为用户搜索了一样东西后,接下来一段时间的推荐都与该物品相关。流行度偏差,则通常是针对物品方(items)的公平性问题,体现为推荐系统更多推荐较为流行的物品,而不流行的物品有较少的机会被推荐或展示,造成推荐系统中的“马太效应”。

当前,学界对算法公平性的研究与探讨正不断深入。

麻省理工学院(MIT)在2021年发布的十大突破技术(10 Breakthrough Technologies)中指出,TikTok推荐算法能够使普通人发的内容有机会受到名人般的关注并流行起来,这是内容公平性的体现;而需求较为小众、细分的用户,也能看到符合自己兴趣的内容,则是用户角度公平性的体现。

图10:在抖音等国内短视频直播平台上,也能看到更多推荐系统服务“用户”、“物品”公平的案例

附件:算法向善与个性化推荐发展研究报告


来源:

http://ai.ruc.edu.cn/newslist/newsdetail/20220107001.html



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“RS48” 就可以获取人大《算法向善与个性化推荐发展研究》报告帮你快速了解,附48页pdf》专知下载链接


专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资源
登录查看更多
0

相关内容

推荐系统的一种应用场景。
对话推荐算法研究综述
专知会员服务
36+阅读 · 2022年4月4日
【干货书】《日常算法》,154页pdf
专知会员服务
55+阅读 · 2022年1月22日
中国数据要素市场发展报告(2020~2021),65页pdf
专知会员服务
140+阅读 · 2021年5月11日
中国数字经济就业发展研究报告2021,43页pdf
专知会员服务
71+阅读 · 2021年3月27日
个性化推荐系统技术进展
专知会员服务
65+阅读 · 2020年8月15日
「对话推荐算法」最新2022研究综述
专知
6+阅读 · 2022年4月5日
WSDM2022 | 数据困境: 我们究竟有多了解推荐系统数据集?
机器学习与推荐算法
2+阅读 · 2022年2月25日
对话推荐算法研究综述
机器学习与推荐算法
0+阅读 · 2021年11月26日
深度 | 推荐系统如何冷启动?
AI100
17+阅读 · 2019年4月7日
连载 | 知识图谱发展报告 2018 -- 前言
开放知识图谱
18+阅读 · 2018年10月7日
推荐系统算法合集,满满都是干货(建议收藏)
七月在线实验室
17+阅读 · 2018年7月23日
【推荐系统】详解基于内容的推荐算法
产业智能官
23+阅读 · 2018年1月11日
【推荐系统】一文读懂推荐系统知识体系
产业智能官
43+阅读 · 2017年10月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
1+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
12+阅读 · 2021年6月29日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Arxiv
13+阅读 · 2018年4月6日
VIP会员
相关VIP内容
对话推荐算法研究综述
专知会员服务
36+阅读 · 2022年4月4日
【干货书】《日常算法》,154页pdf
专知会员服务
55+阅读 · 2022年1月22日
中国数据要素市场发展报告(2020~2021),65页pdf
专知会员服务
140+阅读 · 2021年5月11日
中国数字经济就业发展研究报告2021,43页pdf
专知会员服务
71+阅读 · 2021年3月27日
个性化推荐系统技术进展
专知会员服务
65+阅读 · 2020年8月15日
相关资讯
「对话推荐算法」最新2022研究综述
专知
6+阅读 · 2022年4月5日
WSDM2022 | 数据困境: 我们究竟有多了解推荐系统数据集?
机器学习与推荐算法
2+阅读 · 2022年2月25日
对话推荐算法研究综述
机器学习与推荐算法
0+阅读 · 2021年11月26日
深度 | 推荐系统如何冷启动?
AI100
17+阅读 · 2019年4月7日
连载 | 知识图谱发展报告 2018 -- 前言
开放知识图谱
18+阅读 · 2018年10月7日
推荐系统算法合集,满满都是干货(建议收藏)
七月在线实验室
17+阅读 · 2018年7月23日
【推荐系统】详解基于内容的推荐算法
产业智能官
23+阅读 · 2018年1月11日
【推荐系统】一文读懂推荐系统知识体系
产业智能官
43+阅读 · 2017年10月31日
相关基金
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员