Transformer在各大领域展现出来了很强的效果，想知道Transformer会不会取代GNN？
关注者
156被浏览
43,879登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏
追求亦有三境，求道，求活，求死
按照这个推论，GNN=Transformer=CNN∈FC
图神经网络这是搞了个寂寞。
如果只看解空间，一切网络的解空间都含于全连接的解空间(毕竟能拟合所有函数)。
不同网络的区别在于归纳偏置和训练方式的不同，二者共同决定了解空间的搜索效果。
GNN特点是关于拓扑的强归纳偏置，Transformer这层归纳偏置就不是很强。
当然，这只是一种分析角度。