用深度学习模型，解构并重构人类思维

来源：人机与认知实验室

概要：人类的知识，往往由事实 fact 和规则 rule 组成，而且人类习惯于用简练的词汇，来表达事实和规则。所以，维特根斯坦认为，人类思维受制于语言结构，语言的界限决定思维的界限。

[1] 笔记让人脑洞大开

 

2017年9月26日，深度学习大佬 Yoshua Bengio 在 Arxiv 上发表了一篇笔记，标题是 The Consciousness Prior 意识先验【中文翻译详见本微信工作号昨天文章】。

 

之所以说这篇文章，不是严谨的论文，而是笔记，是因为这篇文章，既没有严谨的算法和公式，也没有严谨的实验结果和分析，而是一篇冥想和提议。

 

但是笔记往往比论文更有启发，就如同与教授喝咖啡聊天，往往更容易学到教授的思想方法。

 

[2] 人类思维的解构

 

Yoshua Bengio 在这篇文章里，把人类思维解构为三个层次，感知 Perception、表征 Representation、和意识 Consciousness。

 

面对一张人物照片，人类 “感知” 到的，是一堆像素。进而抽象到 “表征”，包括五官、发型、服饰、背景等等。再进一步抽象到 “意识”，包括凝重的表情、粗犷的外表、苍凉的环境等等。

 

Yoshua Bengio 提议，可以借鉴深度学习模型，譬如 RNN，来模拟从感知到表征的第一次抽象的过程。

h_{t} = F( s_{t}, h_{t-1} )，其中 s_{t} 是感知的像素，h_{t-1} 是前序的表征，h_{t} 是修正后的表征。

 

他进而又提议，从表征到意识的第二次抽象的过程，也可以借鉴深度学习模型来完成。

 c_{t} = C( h_{t}, c_{t-1}, z_{t} )，其中 c_{t} 是意识，z_{t} 是噪音。

 

之所以有噪音，是因为意识的界定，往往模糊。譬如粗犷和野性，虽然有区别，但是难以并没有严格界定。

 

假如我们有大量做好标签的照片，就可以训练从感知到表征的深度学习模型 F( * )，和从表征到意识的模型 C( * )。

 

一个简单的系统架构，是 3-layer stacked RNN。当然也可以尝试用更多层的复杂架构，或者用 CNN 替换 RNN，或者用 Attention-based Transformer 来替换 RNN。

 

[3] 人类思维的重构

 

从感知，到表征，到意识，是人类思维的解构过程。为了验证解构的正确，Yoshua Bengio 提议通过重构来完成验证。

 

训练好从感知到表征的模型 F( * )，和从表征到意识的模型 C( * ) 以后，假如电脑能够自动合成一张人像照片，表情凝重、外表粗犷、背景苍凉，那么重构宣告成功。

 

如果重构成功，那么解构也被证明是成功的。

 

重构的模型可以用 GAN 和 VAE 来尝试。

 

[4] 打破语言的束缚，解放思维

 

模型 F( * ) 的输出，是表征，譬如五官、发型、服饰、背景等等。模型 C( * ) 的输出，是意识，譬如表情凝重、外表粗犷、背景苍凉等等。

 

意识的形态是张量，是一组数字。但是人类习惯用词汇来表达意识。Yoshua Bengio 提议意识与词汇之间的关系，仍然可以用深度学习模型来模拟，

    u_{t} = U( c_{t}, u_{t-1} )，其中 c_{t} 是意识，u_{t-1} 是前序词汇，u_{t} 是修正后的词汇。

 

哲学家维特根斯坦曾说，“人有着这种感觉，他心里想说的话，总比他用言辞表述得更为清楚”。U( * ) 这个模型，把维特根斯坦的判断，表述得既清晰又简练。

 

人类的知识，往往由事实 fact 和规则 rule 组成，而且人类习惯于用简练的词汇，来表达事实和规则。所以，维特根斯坦认为，人类思维受制于语言结构，语言的界限决定思维的界限。

 

Yoshua Bengio 提议，直接用意识 c_{t} 来表达知识，而不受语言 u_{t} 的制约。

 

进而推论，不妨尝试用深度学习模型，或者强化学习模式，来重构思维逻辑，而不屈从于规则和一阶逻辑那样的推理演绎方式的束缚。