【Yoshua Bengio-先验意识论文最新版本】The Consciousness Prior，Yoshua Bengio

题目： The Consciousness Prior

摘要： 提出了一种新的先验方法，用于学习我们用语言处理的高级概念的表示。这个先验可以与其他先验相结合，以帮助分离彼此之间的抽象因素。它的灵感来源于认知神经科学的意识理论，意识理论被视为一个瓶颈，只有少数元素在从更广泛的群体中被注意力选择之后，才被广播，并在感知和决策中进一步处理。最近被选中的一组元素被视为形成一个低维度的意识状态。这种有意识的状态结合了构成有意识思想的几个概念，也就是说，一个人在某一特定时刻立即意识到的东西。我们认为，这种体系结构和信息处理约束对应于高层概念之间联合分布的假设。只要这些假设基本上是正确的（自然语言的形式似乎与之一致），它们就可以形成一个有用的表征学习的先验知识。低维的思想或意识状态类似于一句话：它只涉及几个变量，但却能以很高的概率作出一个陈述。这与具有稀疏因子图形式的联合分布（在高层概念上）一致，即因子图的每个因子捕获的依赖关系只涉及很少的变量，同时在总体能量函数中产生强烈的倾斜。意识先验也使得将意识状态映射到自然语言话语或以类似于事实和规则的形式表达经典人工智能知识变得自然，尽管它捕获了不确定性以及由注意机制实现的高效搜索机制。

作者简介： Yoshua Bengio，蒙特利尔大学计算机科学与运筹学系的正式教授，蒙特利尔学习算法研究所（MILA）的负责人，CIFAR项目在Macahines and Brains学习的共同主任，加拿大统计学习算法研究主席。他的主要研究目标是理解产生智力的学习原理。他教授一门机器学习的研究生课程（IFT6266），并管理一大批研究生和博士后。H is research被广泛引用（Google Scholar在2016年年中发现超过40000条引用，H-index为84）。Yoshua Bengio目前是《机器学习研究》杂志的行动编辑、《神经计算》杂志的副编辑、《机器学习的基础和趋势》杂志的编辑，并且是《机器学习》杂志和《神经网络的IEEE交易》的副编辑。