协同演化的时间序列出现在环境监测、金融分析、智能交通等众多应用中。本文旨在解决以下挑战:(1)如何加入时间序列的显性关系网络;(2)如何模拟时间动态的隐性关系。同时,作者提出了一个新的模型,称为张量时间序列网络,它由两个模块组成:张量图卷积网络(TGCN)和张量循环神经网络(TRNN)。TGCN通过将平面图的图卷积网络(GCN)泛化到张量图中来解决第一个挑战,它抓住了与张量相关的多个图之间的协同作用。TRNN利用张量分解来模拟共同演化的时间序列之间的隐性关系。在五个真实世界数据集上的实验结果证明了所提出的方法的有效性。

https://www.zhuanzhi.ai/paper/5e20a637eb1e0ed8aa9bb03dceecb198

成为VIP会员查看完整内容
0
18

相关内容

题目: Lorentzian Graph Convolutional Networks 会议: WWW 2021

图卷积神经网络(GCN)最近受到了大量研究者的关注。大多数GCN使用欧几里得几何学习节点的特征表示,但是对于具有无标度或层次结构的图,欧几里得几何可能会产生较高的失真。近来,一些GCN使用非欧几里得几何,例如双曲几何,解决以上问题。尽管双曲GCN展示了其性能,但是现有的双曲图操作实际上不能严格遵循双曲几何,这可能会限制双曲几何的能力,从而损害双曲GCN的性能。 在本文中,我们提出了一种新颖的洛伦兹图卷积网络(LGCN),它在双曲空间的双曲面模型上设计了统一的图操作框架。从该框架派生出严格的双曲图操作,包括特征变换和非线性激活,以确保变换后的节点特征遵循双曲几何。此外,基于洛伦兹距离的质心,我们提出了一种优雅的双曲邻居聚合方式,以确保被聚合的节点特征满足数学意义。并且,我们从理论上证明了一些提出的操作等同于在另一类双曲几何中的定义,表明所提出的方法填补了双曲面模型缺乏严谨的图操作的空白。

成为VIP会员查看完整内容
0
26

现有的协同过滤(CF)方法大多是基于匹配的思想设计的,即通过使用浅层或深层模型从数据中学习用户和项目嵌入,试图捕获数据中的关联关联模式,这样用户嵌入就可以通过设计或学习的相似函数与相关的物品嵌入相匹配。然而,推荐作为一种认知而非感知智能任务,不仅需要从数据中进行模式识别和匹配的能力,还需要对数据进行认知推理的能力。在本文中,我们将协同过滤(CF)提升为协同推理(CR),即每个用户知道推理空间的一部分,并在空间中协作进行推理,以估计彼此的偏好。在技术上,我们提出了一个神经协作推理(NCR)框架来连接学习和推理。具体来说,我们整合了表示学习和逻辑推理的能力,其中表示从感知的角度捕捉数据中的相似模式,而逻辑促进了知情决策的认知推理。然而,一个重要的挑战是在一个共享的体系结构中架起可微分神经网络和符号推理的桥梁,以进行优化和推理。为解决这一问题,我们提出了一种模块化的推理体系结构,将AND(∧)、OR(∨)、NOT(¬)等逻辑运算学习为蕴涵推理(→)的神经模块。这样,逻辑表达式就可以等效地组织成神经网络,从而在连续空间中进行逻辑推理和预测。与浅层、深层和推理模型相比,在真实数据集上的实验验证了我们的框架的优势。

https://www.zhuanzhi.ai/paper/3ef41bd3070325cba6601e2e056e2583

成为VIP会员查看完整内容
0
22

近年来,围绕着图卷积网络(GCN)这一主题的文献大量涌现。如何有效地利用复杂图(如具有异构实体和关系类型的知识图谱)中丰富的结构信息是该领域面临的主要挑战。大多数GCN方法要么局限于具有同质边类型的图(例如,仅引用链接),要么只专注于节点的表示学习,而不是针对目标驱动的目标共同传播和更新节点和边的嵌入。本文提出了一种新的框架,即基于知识嵌入的图卷积网络(KE-GCN),该框架结合了基于图的信念传播中知识嵌入的能力和高级知识嵌入(又称知识图嵌入)方法的优势,从而解决了这些局限性。我们的理论分析表明,KE-GCN作为具体案例提供了几种著名的GCN方法的优雅统一,并提供了图卷积的新视角。在基准数据集上的实验结果表明,与强基线方法相比,KE-GCN方法在知识图谱对齐和实体分类等任务中具有明显的优势。

https://www.zhuanzhi.ai/paper/3404ccd79333da7c1cbf8e013f258a64

成为VIP会员查看完整内容
0
38

知识图谱(KG)是一种灵活的结构,能够描述数据实体之间的复杂关系。目前,大多数KG嵌入模型都是基于负采样进行训练的,即模型的目标是最大限度地增加KG内被连接实体的某些相似度,同时最小化被采样的断开实体的相似度。负抽样通过只考虑负实例的子集,降低了模型学习的时间复杂度,这可能会由于抽样过程的不确定性而无法提供稳定的模型性能。为了避免这一缺陷,我们提出了一种新的KG嵌入高效非采样知识图谱嵌入框架(NS-KGE)。其基本思想是在模型学习中考虑KG中的所有负面实例,从而避免负面抽样。框架可应用于基于平方损失的知识图谱嵌入模型或其损失可转换为平方损失的模型。这种非抽样策略的一个自然副作用是增加了模型学习的计算复杂度。为了解决这一问题,我们利用数学推导来降低非采样损失函数的复杂度,最终为我们提供了比现有模型更好的KG嵌入效率和精度。在基准数据集上的实验表明,NS-KGE框架在效率和准确率方面均优于传统的基于负采样的模型,该框架适用于大规模知识图谱嵌入模型。

https://www.zhuanzhi.ai/paper/a63903c464665db631cd3167d395a238

成为VIP会员查看完整内容
0
22

时空图是描述城市感知数据(如交通速度和空气质量)的重要结构。基于时空图的预测为智慧城市提供了许多重要的应用,如交通管理和环境分析。近年来,已有许多用于时空图预测的深度学习模型被提出,并取得了显著的效果。然而,设计神经网络需要丰富的领域知识和专家的努力。为此,我们研究了时空图的自动神经结构搜索在城市交通预测中的应用,面临两个挑战:1)如何定义搜索空间来捕获复杂的时空关联;2)如何学习一个时空图对应的属性图的网络权值参数。为了解决这些挑战,我们提出了一个新的框架,名为AutoSTG,用于自动时空图预测。在我们的AutoSTG中,我们的搜索空间采用了空间图卷积和时间卷积操作来捕获复杂的时空相关性。此外,我们利用元学习技术从属性图的元知识中学习空间图卷积层的邻接矩阵和时间卷积层的核。具体地说,这种元知识是由一个图元知识学习器来学习的,这个图元知识学习器在属性图上迭代地聚集知识。最后,在两个真实的基准数据集上进行了广泛的实验,证明AutoSTG可以找到有效的网络架构并取得最先进的结果。据我们所知,我们是第一个研究神经结构搜索的时空图。

http://panzheyi.cc/publication/pan2021autostg/paper.pdf

成为VIP会员查看完整内容
0
14

城市流量预测从许多方面使得智慧城市的建设受益,例如交通管理和风险评估。但是关键先决条件是对城市的细粒度动态有足够的掌握。因此,与之前的工作仅限于粗粒度数据不同,这篇论文中将城市流量预测的范围扩展到细粒度,这带来了一些具体挑战:1)在细粒度数据中观察到的网格间的转移动态使预测变得更加复杂,需要在全局范围内捕获网格单元之间的空间依赖性;2)单独学习外部因素(例如天气)对大量网格单元的影响是非常具有挑战性的。为了解决这两个挑战,本文中提出了时空关系网(STRN)来预测细粒度的城市流量。首先,骨干网用于学习每个网格单元的高级表示,第二,文中还提出了一个全局关系模块(GloNet),与现有方法相比,该模块可以更有效地捕获全局空间依赖性。第三,模型中设计了一个元学习器,它将外部因素和土地功能(例如POI密度)作为输入以产生元知识并提高模型性能。论文提出的模型在两个现实世界的数据集进行了充足的实验。结果表明,与最新方法相比,STRN减少了7.1%到11.5%的误差,而使用了更少的参数。

成为VIP会员查看完整内容
0
25

在多源知识图谱(KGs)中寻找等价实体是KGs集成的关键步骤,也称为实体对齐(EA)。然而,现有的EA方法大多效率低下,伸缩性差。最近的总结指出,其中一些甚至需要几天的时间来处理包含20万个节点(DWY100K)的数据集。我们认为过于复杂的图编码器和低效的负采样策略是造成这种现象的两个主要原因。本文提出了一种新的KG编码器-双注意匹配网络(Dual- AMN),该网络不仅能对图内和图间信息进行智能建模,而且大大降低了计算复杂度。此外,我们提出了归一化的硬样本挖掘损失来平滑选择硬负样本,减少了损失偏移。在广泛应用的公共数据集上的实验结果表明,该方法具有较高的精度和效率。在DWY100K上,我们的方法的整个运行过程可以在1100秒内完成,比之前的工作至少快10倍。我们的方法在所有数据集上的性能也优于之前的工作,其中𝐻𝑖𝑡𝑠@1和𝑀𝑅𝑅从6%提高到13%。

https://www.zhuanzhi.ai/paper/3d0a0bf7905b28afbdffaa48e0d640c3

成为VIP会员查看完整内容
0
7

双曲空间提供了丰富的设置来学习具有优越属性的嵌入,这些属性在计算机视觉、自然语言处理和计算生物学等领域得到了利用。最近,有人提出了几种双曲线方法来学习推荐设置中的用户和项目的鲁棒表示。但是,这些方法不能捕获推荐领域中通常存在的高阶关系。另一方面,图卷积神经网络(GCNs)则擅长通过对局部表示应用多层聚合来捕获更高阶的信息。在本文中,我们提出了一个用于协同过滤的双曲线GCN模型,以一种新颖的方式将这些框架结合起来。我们证明了我们的模型可以在边缘损失的情况下有效学习,并证明了双曲空间在边缘设置下具有理想的性质。在测试时,我们的模型使用双曲距离来进行推理,双曲距离保留了学习空间的结构。我们对三个公共基准进行了广泛的实证分析,并与一组大型基线进行比较。我们的方法实现了非常具有竞争力的结果,并超过领先的基线,包括欧几里德GCN对等物。我们进一步研究了双曲线嵌入的性质,并表明它们对数据提供了有意义的见解。该工作的完整代码可以在这里:https://github.com/layer6ai-labs/HGCF。

成为VIP会员查看完整内容
0
25

点击率(CTR)预测在推荐系统和在线广告中起着至关重要的作用。这些应用程序中使用的数据是多字段类别数据,其中每个特征属于一个字段。字段信息被证明是重要的,在他们的模型中有一些考虑字段的工作。在本文中,我们提出了一种新的方法来有效和高效地建模场信息。该方法是对FwFM的直接改进,被称为场矩阵分解机(FmFM,或FM2)。在FmFM框架下,我们对FM和FwFM提出了新的解释,并与FFM进行了比较。除了对交叉项进行修剪外,我们的模型还支持特定领域的可变维度的嵌入向量,这是一种软修剪。在保持模型性能的同时,我们还提出了一种有效的最小化维数的方法。FmFM模型还可以通过缓存中间向量来进一步优化,它只需要数千次浮点运算(FLOPs)就可以做出预测。实验结果表明,该算法的性能优于复杂的FFM算法。FmFM模型的性能也可以与DNN模型相媲美,DNN模型在运行时需要更多FLOPs 。

https://www.zhuanzhi.ai/paper/39df3ac3e3acb641f86294a4d6acb39f

成为VIP会员查看完整内容
0
22
小贴士
相关VIP内容
专知会员服务
26+阅读 · 5月26日
专知会员服务
22+阅读 · 5月17日
专知会员服务
38+阅读 · 4月27日
专知会员服务
22+阅读 · 4月25日
专知会员服务
14+阅读 · 4月23日
专知会员服务
25+阅读 · 4月6日
专知会员服务
25+阅读 · 3月26日
专知会员服务
22+阅读 · 2月27日
专知会员服务
24+阅读 · 2020年12月13日
相关论文
Wei Chen,Xiaoming Sun,Jialin Zhang,Zhijie Zhang
4+阅读 · 6月7日
Sahand Sharifzadeh,Sina Moayed Baharlou,Volker Tresp
6+阅读 · 2020年11月19日
Jiawei Sheng,Shu Guo,Zhenyu Chen,Juwei Yue,Lihong Wang,Tingwen Liu,Hongbo Xu
9+阅读 · 2020年10月19日
Simone Scardapane,Indro Spinelli,Paolo Di Lorenzo
16+阅读 · 2020年7月13日
Fengwen Chen,Shirui Pan,Jing Jiang,Huan Huo,Guodong Long
14+阅读 · 2019年4月4日
Jindong Chen,Yizhou Hu,Jingping Liu,Yanghua Xiao,Haiyun Jiang
7+阅读 · 2019年2月21日
Graph-Based Recommendation System
Kaige Yang,Laura Toni
4+阅读 · 2018年7月31日
Julia Kreutzer,Shahram Khadivi,Evgeny Matusov,Stefan Riezler
3+阅读 · 2018年4月16日
Fuzhen Zhuang,Yingmin Zhou,Fuzheng Zhang,Xiang Ao,Xing Xie,Qing He
4+阅读 · 2018年3月5日
Top