【资源】TensorFlow 注意力机制使用教程- 专知

会员服务 ·

【资源】TensorFlow 注意力机制使用教程

专知出品

【导读】本资源介绍了以下3个方面：1)如何在图像上应用CNN attention。2）神经机器翻译中的注意机制。3）在图像配图中应用attention和双随机正则化。

No.1

总体目录

No.2

Attention maps

在这节课中，我们学习深度学习模型注意图像的哪些部分。根据我们在网络中的深度，我们可以学习不同层次的注意力图。

No.3

Attention in image captioning

传统的图像字幕模型体系结构存在瓶颈问题。通常，我们使用一个预先训练的模型来提取固定的特征，这些特征被直接提供给一个RNN模型来生成标题。然而，随着时间的推移，这种表现会影响字幕的效果，因为我们把图像看作一个整体，而不是局部。注意力背后的基本思想是迫使模型为图像的不同部分分配权重，这使得字幕处理更加有效。