【ICML2023】Transformer编码器表达能力的更严格界限

从更好理解的形式系统的角度来描述神经网络，有可能产生对这些网络的力量和局限性的新见解。对于transformer来说，这仍然是一个活跃的研究领域。Bhattamishra和其他人已经表明，transformer编码器的表达能力至少与某种计数器机器一样强，而Merrill和Sabharwal已经表明，固定精度的transformer编码器只能识别统一TC中的语言。通过识别具有计数量词的一阶逻辑变体，将这些结果联系起来并加强，该变体同时是固定精度transformer编码器的上界和transformer编码器的下界。这使我们比以前更接近transformer编码器识别的语言的确切特征。

https://www.zhuanzhi.ai/paper/571bd61949e3574aa0b115cf779fbb9e