【ICML2021】蛋白质语言模型-MSA Transformer

经过数百万种不同序列训练的无监督蛋白质语言模型可以学习蛋白质的结构和功能。迄今为止，研究的蛋白质语言模型都是经过训练的，可以从单个序列进行推断。长期以来，计算生物学的方法一直是通过独立地将一个模型拟合到每个家族中，从一个进化相关的序列家族中做出推论。在这项工作中，我们结合了两种范式。我们引入了一种蛋白质语言模型，它以多序列比对的形式将一组序列作为输入。该模型在输入序列中穿插行和列注意力，并使用跨许多蛋白质家族的掩码语言建模目标的变体进行训练。该模型的性能大大超过了目前最先进的无监督结构学习方法，参数效率远高于之前的最先进的蛋白质语言模型。

http://proceedings.mlr.press/v139/rao21a.html