主题模型是一种以无监督方式对文本内容的隐含语义结构进行聚类,发现文档中抽象主题的统计模型,主要被运用于NLP领域中的各种任务。简单总结主题模型的目的,就是从一堆文档中学习两种矩阵:一是document-topic矩阵,即document在主题上的分布,二是topic-word矩阵,即topic在词表上的分布。基于主题模型的思想和功能,已有很多工作将其运用或迁移到其他领域,来提高模型方法的效果。本文将介绍在KDD 2020上发表的两篇在图模型中利用主题模型的工作。

第一个工作是《Graph Structural-topic Neural Network》,主要是将主题模型的统计思想引入到GCNs中,解决GCNs不能很好地建模局部高阶结构的问题。

第二个工作是《Graph Attention Networks over Edge Content-Based Channels》,该工作关注了图中边上的非结构文本信息,利用主题模型发现边的文本信息隐含的丰富语义,从而更好地推理和节点之间的交互。

成为VIP会员查看完整内容
0
25

相关内容

主题模型,顾名思义,就是对文字中隐含主题的一种建模方法。“苹果”这个词的背后既包含是苹果公司这样一个主题,也包括了水果的主题。   在这里,我们先定义一下主题究竟是什么。主题就是一个概念、一个方面。它表现为一系列相关的词语。比如一个文章如果涉及到“百度”这个主题,那么“中文搜索”、“李彦宏”等词语就会以较高的频率出现,而如果涉及到“IBM”这个主题,那么“笔记本”等就会出现的很频繁。如果用数学来描述一下的话,主题就是词汇表上词语的条件概率分布 。与主题关系越密切的词语,它的条件概率越大,反之则越小。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

使用图模型解决问题时,面对实际环境中来源多样、形式复杂的数据,怎样将多种信息进行合理融合是一个值得关注的问题。本文将介绍两篇发表于KDD 2020的与图模型信息融合相关的工作。

第一篇工作为《HGMF: Heterogeneous Graph-based Fusion for Multimodal Data with Incompleteness》,该工作主要是基于异质图来解决多模态学习中在信息融合时会遇到的模态缺失问题。

第二篇工作为《Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion》,该工作通过引入两个外部知识图谱丰富会话的语义信息,并通过互信息最大化弥补知识图谱间的语义鸿沟以提升会话推荐系统的表现。

成为VIP会员查看完整内容
0
21

图神经网络在处理基于图数据问题方面取得了巨大的成功,受到了广泛的关注和应用。GNNs通常是基于消息传递的方式设计的,本质思想即迭代地聚合邻居信息,而经过次的迭代后, 层GNNs能够捕获节点的K-hop局部结构,学习来自跳邻居的信息。因此更深层的GNN就能够访问更多的邻居信息,学习与建模远距离的节点关系,从而获得更好的表达能力与性能。而在实际在做深层GNN操作时,往往会面临着两类问题:1. 随着层数的增加,GNNs的性能会大幅下降;2. 随着层数的增加,利用GNNs进行训练与推断时需要的计算量会指数上升。对于第一个问题来说,现有的很多工作分析出深层GNNs性能下降的原因是受到了过平滑问题的影响,并提出了缓解过平滑的解决方案;而对于第二个问题来说,设计方案模拟深层GNNs的表现能力并减少GNNs的计算消耗也成了亟待解决的需求,比如用于实时系统的推断。针对这两个问题,本文将分别介绍两个在KDD 2020上的关于深度GNNs的最新工作。

第一个工作是Research Track的《Towards Deeper Graph Neural Networks》。该工作从另一个角度去解读深度图神经网络随着层数增加性能下降的问题,认为影响性能下降的主要原因是Transformation和Propagation两个过程的纠缠影响作用,并且基于分析结果设计了深度自适应图神经网络(Deep Adaptive Graph Neural Networks) 模型,能够有效地缓解深层模型的性能快速下降问题。

第二个工作是Research Track的《TinyGNN: Learning Efficient Graph Neural Networks》。该工作尝试训练small GNN(浅层)去模拟Deep GNN(深层)的表达能力和表现效果,致力于应用在实时系统推断等对推断速度有较高要求的场景。

成为VIP会员查看完整内容
0
40

模型的可解释性是机器学习领域的重要研究课题,主要关注两个方向,一个是提升模型本身的可解释性,如引入注意力机制、解耦表示学习等技术;另一个是对黑盒模型的事后解释,如特征掩码技术、可视化技术等。图结构提供了额外的拓扑信息,也对可解释技术提出了更高的要求。本文将介绍在KDD 2020上发表的两个该方向最新工作。

第一个工作是Research Track的《XGNN: Towards Model-Level Explanations of Graph Neural Networks》,关注黑盒模型的事后解释,提出了一种基于输入优化的图神经网络事后解释方法。

第二个工作是Applied Data Science Track的《Explainable classification of brain networks via contrast subgraphs》,关注提升模型本身的可解释性,提出了一种基于对比子图的可解释脑网络分类方法。

成为VIP会员查看完整内容
0
27

【导读】作为世界数据挖掘领域的最高级别的学术会议,ACM SIGKDD(国际数据挖掘与知识发现大会,简称 KDD)每年都会吸引全球领域众多专业人士参与。今年的 KDD大会计划将于 2020 年 8 月 23 日 ~27 日在美国美国加利福尼亚州圣地亚哥举行(疫情影响,线上举行)。KDD 2020官方发布接收论文,共有1279篇论文提交到Research Track,共216篇被接收,接收率16.8%。近期一些Paper放出来了,为此,专知小编提前为大家整理了五篇KDD 2020 推荐系统(RS)相关论文,供大家参考。——异构图交互模型、组合嵌入、分解自监督、地理感知序列推荐、交互路径推理。

KDD2020 Accepted Papers

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1、An Efficient Neighborhood-based Interaction Model for Recommendation on Heterogeneous Graph

作者:Jiarui Jin, Jiarui Qin, Yuchen Fang, Kounianhua Du, Weinan Zhang, Yong Yu, Zheng Zhang, Alexander J. Smola

摘要:近年来,基于异构信息网络(HIN)的推荐系统大量涌现,因为HIN能够刻画复杂的图形,并且包含丰富的语义。现有的方法虽然取得了性能上的提高,但同时在实用性方面,仍然面临着以下问题。一方面,大多数现有的基于HIN的方法依赖于显式路径可达性来利用用户和项目之间基于路径的语义相关性,例如基于元路径的相似性。但由于路径连接稀疏或有噪声,这些方法很难使用和集成,并且通常具有不同的长度。另一方面,其他基于图的方法旨在通过在预测前将节点及其邻域信息压缩成单个嵌入来学习有效的异构网络表示。这种弱耦合的建模方式忽略了节点之间丰富的交互,这带来了先前概述的问题。针对上述问题,本文提出了一种端到端基于邻域的交互推荐模型(NIRec)。具体地说,我们首先分析了学习交互在HINS中的重要性,然后提出了一种新的公式,通过元路径引导的邻域来捕捉每对节点之间的交互模式。然后,为了探索元路径之间的复杂交互和处理大规模网络上的学习复杂性,我们用卷积的方式表示交互,并使用快速傅立叶变换进行高效的学习。在四种不同类型的异构图上的大量实验表明,与现有技术相比,NIRec的性能有所提高。据我们所知,这是在基于HIN的推荐中提供有效的基于邻域的交互模型的第一项工作。

网址: https://arxiv.org/abs/2007.00216

2、Compositional Embeddings Using Complementary Partitions for Memory-Efficient Recommendation Systems

作者:Hao-Jun Michael Shi, Dheevatsa Mudigere, Maxim Naumov, Jiyan Yang

摘要:基于深度学习的推荐系统利用了成百上千个不同的分类特征,每个分类特征都有数百万个从点击到发布的不同类别。为了尊重分类数据中的自然多样性,嵌入将每个类别映射到嵌入空间内的统一表示。由于每个分类特征可以承担多达数千万个不同的可能类别,因此嵌入表示在训练和推理过程中都面临着存储瓶颈。我们提出了一种新的方法,通过利用类别集合的互补划分(complementary partitions)在不需要明确定义的情况下来为每个类别产生唯一的嵌入向量,从而以端到端的方式减少嵌入大小。通过在每个互补分区上存储多个较小的嵌入表,并结合每个表的嵌入,我们以较小的存储开销为每个类别定义了唯一的嵌入。该方法可以被解释为使用特定的固定码本(fixed codebook)来确保每个类别表示的唯一性。我们的实验结果表明,相对于散列技巧,我们的方法在减少模型损失和准确性的同时减小了参数数量,并且有效地减少了嵌入表示的大小。

网址: https://arxiv.org/abs/1909.02107

3、Disentangled Self-Supervision in Sequential Recommenders

作者:Jianxin Ma, Chang Zhou, Hongxia Yang, Peng Cui, Xin Wang, Wenwu Zhu

摘要:为了学习一个序列推荐器,现有的方法通常采用sequence-to-item(Seq2item)训练策略,该策略以用户的下一次行为为标签,以用户过去的行为为输入来监督序列模型。然而,seq2item策略是目光短浅的,通常会产生单一的推荐列表。在本文中,我们着眼于更长远的未来来研究挖掘额外信号以进行监督的问题。存在如下两个挑战:i)重构包含多个行为的未来序列比重构单个下一个行为要困难得多,这可能导致收敛困难;ii)所有未来行为的序列可能涉及多个意图,并不是所有的意图都可以从先前行为序列中预测出来。为了应对这些挑战,我们提出了一种基于潜在自监督和解缠(disentanglement)的Seq2seq训练策略。具体地说,我们在潜在空间中进行自监督,即作为一个整体重构未来序列的表示,而不是单独重构未来序列中的项。我们还解开了任何给定行为序列背后的意图,并仅使用涉及共同意图的子序列对来构建seq2seq训练样本。真实世界基准和合成数据的结果表明,seq2seq训练带来了改进。

网址: http://pengcui.thumedialab.com/papers/DisentangledSequentialRecommendation.pdf

4、Geography-Aware Sequential Location Recommendation

作者:Defu Lian, Yongji Wu, Yong Ge, Xing Xie, Enhong Chen

摘要:序列位置推荐在移动性预测、路径规划、基于位置广告等应用中发挥着重要作用。虽然从张量分解发展到基于RNN的神经网络,但现有方法没有有效利用地理信息,存在稀疏性问题。为此,我们提出了一种基于自注意力网络的地理感知序列推荐器(GeoSAN)进行位置推荐。一方面,我们提出了一种新的基于重要性抽样的损失函数进行优化,通过强调使用信息丰富的负样本来解决稀疏性问题。另一方面,为了更好地利用地理信息,GeoSAN使用基于自注意力的地理编码器来表示每个GPS点的分层网格。此外,我们还提出了地理感知的负采样器来提高负样本的信息量。我们使用三个真实的LBSN数据集对所提出的算法进行了评估,结果表明GeoSAN的性能比最新的序列位置推荐器高出34.9%。实验结果进一步验证了新的损失函数、地理编码器和地理感知负采样器的有效性。

网址: http://staff.ustc.edu.cn/~liandefu/paper/locpred.pdf

5、Interactive Path Reasoning on Graph for Conversational Recommendation

作者:Wenqiang Lei, Gangyi Zhang, Xiangnan He, Yisong Miao, Xiang Wang, Liang Chen, Tat-Seng Chua

摘要:传统的推荐系统从过去的交互历史中估计用户对项目的偏好,因此受到获取细粒度和动态用户偏好的限制。会话推荐系统(CRS)使系统能够直接向用户询问他们对物品的偏好属性,从而为这些限制带来了革命性的变化。然而,现有的CRS方法并没有充分利用这一优势-它们只以相当隐含的方式使用属性反馈,例如更新潜在用户表示。在本文中,我们提出了转换路径推理(Conversational Path Reasoning, CPR),这是一个通用的框架,它将会话推荐建模为图上的交互式路径推理问题。它通过跟随用户反馈遍历属性顶点,显式地利用用户偏好属性。通过利用图结构,CPR能够删除许多不相关的候选属性,从而获得更好的命中用户偏好属性的机会。为了演示CPR的工作原理,我们提出了一个简单而有效的实例化,命名为SCPR(SimpleCPR)。我们对多轮会话推荐场景进行了实证研究,这是迄今为止最现实的CRS场景,它考虑了多轮询问属性和推荐项目。通过在Yelp和LastFM两个数据集上的大量实验,我们验证了我们的SCPR的有效性,它的性能明显优于最先进的CRS方法EAR和CRM。特别地,属性越多,我们的方法就能获得越多的优势。

网址: https://arxiv.org/abs/2007.00194

成为VIP会员查看完整内容
0
56
小贴士
相关VIP内容
专知会员服务
21+阅读 · 2020年10月15日
专知会员服务
40+阅读 · 2020年9月20日
专知会员服务
27+阅读 · 2020年9月4日
专知会员服务
56+阅读 · 2020年8月11日
系列教程GNN-algorithms之六:《多核卷积拓扑图—TAGCN》
专知会员服务
38+阅读 · 2020年8月8日
最新《图神经网络模型与应用》综述论文
专知会员服务
212+阅读 · 2020年8月2日
相关资讯
知识图谱中的深度学习技术应用概述
深度学习与NLP
7+阅读 · 2018年9月13日
word2vec在工业界的应用场景
全球人工智能
5+阅读 · 2018年1月7日
论文|2017CIKM-Network Embedding专题论文分享
蚂蚁程序猿
7+阅读 · 2017年12月20日
专栏 | 技术干货:一文详解LDA主题模型
机器之心
27+阅读 · 2017年12月1日
基于LDA的主题模型实践(一)
机器学习深度学习实战原创交流
18+阅读 · 2015年9月9日
相关论文
Saurabh Verma,Zhi-Li Zhang
4+阅读 · 2019年9月25日
Self-Attention Graph Pooling
Junhyun Lee,Inyeop Lee,Jaewoo Kang
10+阅读 · 2019年6月13日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
5+阅读 · 2019年5月17日
Fengwen Chen,Shirui Pan,Jing Jiang,Huan Huo,Guodong Long
14+阅读 · 2019年4月4日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
18+阅读 · 2019年1月3日
Chao Shang,Yun Tang,Jing Huang,Jinbo Bi,Xiaodong He,Bowen Zhou
3+阅读 · 2018年11月15日
Hierarchical Graph Representation Learning with Differentiable Pooling
Rex Ying,Jiaxuan You,Christopher Morris,Xiang Ren,William L. Hamilton,Jure Leskovec
10+阅读 · 2018年6月26日
Ryohei Hisano
3+阅读 · 2018年2月22日
Qibing Li,Xiaolin Zheng,Xinyue Wu
8+阅读 · 2018年1月30日
Devendra Singh Chaplot,Ruslan Salakhutdinov
5+阅读 · 2018年1月5日
Top