【Google AI-Yi Tay】Transformer记忆为可微搜索索引”(DSI)

在这次演讲中，我将讨论谷歌AI的最新工作，即“可微搜索索引”(DSI)。DSI表明，信息检索可以通过一个Transformer来完成，其中关于语料库的所有信息都编码在模型的参数中。DSI是一个新的范例，它学习了文本到文本的模型，将字符串查询直接映射到相关的docids;换句话说，DSI模型只使用其参数直接回答查询，极大地简化了整个检索过程。我们研究文档及其标识符如何表示的变化，训练过程的变化，以及模型和语料库大小之间的相互作用。实验证明，给予适当的设计选择，DSI显著优于强大的基线，如双编码器模型。此外，DSI显示了强大的泛化能力，在零样本设置中优于BM25基线。