算法是最近全球技术进步的基础,特别是,它们是一个领域的技术进步迅速应用到另一个领域的基石。我们认为,算法与深度学习方法有着本质上的不同,这强烈表明,如果深度学习方法能够更好地模仿算法,那么算法所看到的那种泛化将在深度学习中成为可能——这是当前机器学习方法所无法达到的。此外,通过在学习算法的连续空间中表示元素,神经网络能够使已知算法更接近于现实世界的问题,可能发现比人类计算机科学家提出的更有效和实用的解决方案。

https://www.cell.com/patterns/pdf/S2666-3899(21)00099-4.pdf

成为VIP会员查看完整内容
0
23

相关内容

Existing Collaborative Filtering (CF) methods are mostly designed based on the idea of matching, i.e., by learning user and item embeddings from data using shallow or deep models, they try to capture the associative relevance patterns in data, so that a user embedding can be matched with relevant item embeddings using designed or learned similarity functions. However, as a cognition rather than a perception intelligent task, recommendation requires not only the ability of pattern recognition and matching from data, but also the ability of cognitive reasoning in data. In this paper, we propose to advance Collaborative Filtering (CF) to Collaborative Reasoning (CR), which means that each user knows part of the reasoning space, and they collaborate for reasoning in the space to estimate preferences for each other. Technically, we propose a Neural Collaborative Reasoning (NCR) framework to bridge learning and reasoning. Specifically, we integrate the power of representation learning and logical reasoning, where representations capture similarity patterns in data from perceptual perspectives, and logic facilitates cognitive reasoning for informed decision making. An important challenge, however, is to bridge differentiable neural networks and symbolic reasoning in a shared architecture for optimization and inference. To solve the problem, we propose a modularized reasoning architecture, which learns logical operations such as AND ($\wedge$), OR ($\vee$) and NOT ($\neg$) as neural modules for implication reasoning ($\rightarrow$). In this way, logical expressions can be equivalently organized as neural networks, so that logical reasoning and prediction can be conducted in a continuous space. Experiments on real-world datasets verified the advantages of our framework compared with both shallow, deep and reasoning models.

0
8
下载
预览

作为人工智能的一个领域,机器推理(MR)主要使用符号手段来形式化和模拟抽象推理。早期MR的研究已经开始对可解释的人工智能(XAI)进行调查,这可以说是当今人工智能界最关心的问题之一。从那时起,关于可解释的MR以及人工智能其他领域可解释的MR方法的工作一直在继续。它在现代的MR branch中尤其有效,比如论证,约束和逻辑编程,规划。在此,我们旨在对MR可解释性技术和研究进行有选择性的概述,希望从这一长期研究中获得的见解能够很好地补充目前的XAI景观。这份文件报告了我们在MR解释能力方面的工作进展。

https://www.zhuanzhi.ai/paper/37288afae45ec5978cd94235cc8add1a

成为VIP会员查看完整内容
0
29

近年来,深度神经网络在许多研究领域取得了成功。大多数神经网络设计背后的基本思想是从数据中学习相似模式,用于预测和推理,这缺乏认知推理能力。然而,具体的推理能力对于许多理论和实践问题是至关重要的。另一方面,传统的符号推理方法在逻辑推理方面做得很好,但它们大多是基于规则的硬推理,由于不同的任务可能需要不同的规则,使得它们的泛化能力局限于不同的任务。推理和泛化能力对于预测任务都很重要,比如推荐系统,推理为精确预测提供了用户历史和目标项目之间的紧密联系,泛化帮助模型在噪声输入中绘制出一个稳健的用户画像。

在本文中,我们提出了逻辑集成神经网络(LINN)来集成深度学习和逻辑推理的能力。LINN是一个根据输入逻辑表达式构建计算图的动态神经结构。它学习基本的逻辑操作,如AND, OR,而不是神经模块,并通过网络进行命题逻辑推理进行推理。理论任务实验表明,LINN在求解逻辑方程和变量方面都取得了显著的效果。此外,我们通过将实际的推荐任务构造成一个逻辑推理问题来测试我们的方法。实验表明,LINN在Top-K推荐方面的性能显著优于现有推荐模型,验证了LINN在实际应用中的潜力。

成为VIP会员查看完整内容
0
28

机器学习方法以有限的资源快速地从大量的数据中提取价值。它们是在广泛的工业应用中建立起来的工具,包括搜索引擎、DNA测序、股票市场分析和机器人移动,它们的使用正在迅速蔓延。了解这些方法的人可以选择有回报的工作。这个动手实践书册为计算机科学学生打开这些机会。它是专为具有有限的线性代数和微积分背景的大四本科生和硕士生设计的。它在图模型的框架内开发了从基本推理到高级技术的所有内容。学生们学到的不仅仅是一系列的技巧,他们还会发展分析和解决问题的技巧,这些技巧使他们能够适应真实的世界。许多例子和练习,以计算机为基础和理论,包括在每一章。为学生和教师的资源,包括一个MATLAB工具箱,可在网上获得。

成为VIP会员查看完整内容
0
127

题目: What Can Neural Networks Reason About?

摘 要:

神经网络已经成功地完成了许多推理任务。从经验上看,这些任务需要专门的网络结构,例如,图神经网络(GNNs)在许多这样的任务中表现良好,但较少结构的网络会失败。从理论上讲,尽管网络结构具有相同的表达能力,但人们对网络结构为什么以及何时比其他网络结构更能泛化的理解是有限的。本文通过研究网络的计算结构与相关推理过程的算法结构之间的一致性,建立了一个描述网络能很好学习哪些推理任务的框架。我们正式定义了这种算法对齐,并推导出一个随更好的对齐而减小的样本复杂度界。该框架为流行推理模型的经验成功提供了一个解释,并指出了它们的局限性。例如,我们通过一个强大的算法范例——动态规划(DP)的镜头,将看似不同的推理任务,如直觉物理、可视化问题回答和最短路径统一起来。我们证明了GNN与DP是一致的,因此可以解决这些问题。在一些推理任务中,我们的理论得到了实证结果的支持。

成为VIP会员查看完整内容
0
40

Markov Logic Networks (MLNs), which elegantly combine logic rules and probabilistic graphical models, can be used to address many knowledge graph problems. However, inference in MLN is computationally intensive, making the industrial-scale application of MLN very difficult. In recent years, graph neural networks (GNNs) have emerged as efficient and effective tools for large-scale graph problems. Nevertheless, GNNs do not explicitly incorporate prior logic rules into the models, and may require many labeled examples for a target task. In this paper, we explore the combination of MLNs and GNNs, and use graph neural networks for variational inference in MLN. We propose a GNN variant, named ExpressGNN, which strikes a nice balance between the representation power and the simplicity of the model. Our extensive experiments on several benchmark datasets demonstrate that ExpressGNN leads to effective and efficient probabilistic logic reasoning.

0
3
下载
预览

题目: Probabilistic Logic Neural Networks for Reasoning

摘要:

知识图谱推理的目的是通过对观测到的事实进行推理来预测缺失的事实,它在许多应用中起着至关重要的作用。传统的基于逻辑规则的方法和近年来的知识图谱嵌入方法都对这一问题进行了广泛的探讨。马尔可夫逻辑网络(MLN)是一种有原则的基于规则的逻辑方法,它能够利用一阶逻辑的领域知识,同时处理不确定性。然而,由于其复杂的图形结构,MLNs的推理通常是非常困难的。与MLNs不同的是,知识图的嵌入方法(如TransE、DistMult)学习有效的实体嵌入和关系嵌入进行推理,这样更有效、更高效。然而,他们无法利用领域知识。在本文中,我们提出了概率逻辑神经网络(pLogicNet),它结合了两种方法的优点。pLogicNet使用一阶逻辑的马尔可夫逻辑网络定义所有可能的三联体的联合分布,该网络可以通过变分EM算法进行有效优化。采用知识图谱嵌入模型推断缺失的三联体,根据观测到的三联体和预测到的三联体更新逻辑规则权值。在多个知识图谱的实验证明了pLogicNet在许多竞争基线上的有效性。

作者:

瞿锰是蒙特利尔学习算法研究所的一年级博士生,之前,在伊利诺伊大学香槟分校获得了硕士学位,此外,在北京大学获得了学士学位。主要研究方向为机器学习、贝叶斯深度学习、数据挖掘和自然语言处理。

成为VIP会员查看完整内容
0
81
小贴士
相关资讯
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
19+阅读 · 2020年2月14日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
66+阅读 · 2019年11月27日
Graph Neural Networks 综述
计算机视觉life
22+阅读 · 2019年8月13日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
26+阅读 · 2018年3月30日
相关论文
Gusi Te,Wei Hu,Yinglu Liu,Hailin Shi,Tao Mei
0+阅读 · 9月15日
Hanxiong Chen,Shaoyun Shi,Yunqi Li,Yongfeng Zhang
8+阅读 · 5月3日
Emily Alsentzer,Samuel G. Finlayson,Michelle M. Li,Marinka Zitnik
20+阅读 · 2020年6月19日
Yuyu Zhang,Xinshi Chen,Yuan Yang,Arun Ramamurthy,Bo Li,Yuan Qi,Le Song
3+阅读 · 2020年2月4日
Neural Module Networks for Reasoning over Text
Nitish Gupta,Kevin Lin,Dan Roth,Sameer Singh,Matt Gardner
9+阅读 · 2019年12月10日
Xiaoran Xu,Wei Feng,Yunsheng Jiang,Xiaohui Xie,Zhiqing Sun,Zhi-Hong Deng
5+阅读 · 2019年9月27日
KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning
Bill Yuchen Lin,Xinyue Chen,Jamin Chen,Xiang Ren
7+阅读 · 2019年9月4日
Meng Qu,Jian Tang
6+阅读 · 2019年6月20日
Relational recurrent neural networks
Adam Santoro,Ryan Faulkner,David Raposo,Jack Rae,Mike Chrzanowski,Theophane Weber,Daan Wierstra,Oriol Vinyals,Razvan Pascanu,Timothy Lillicrap
8+阅读 · 2018年6月28日
Wenhu Chen,Wenhan Xiong,Xifeng Yan,William Wang
7+阅读 · 2018年3月17日
Top