seq2seq 中的 beam search 算法过程是怎样的？
关注者
843被浏览
356,363登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏
脚踏实地
viterbi中第n步各状态的概率分布只和第n-1步相关，而seq2seq解码过程中第n步各状态的概率分布和前面所有步(1,2,n-1)均相关；
假设每步有A,B,C三个状态，在seq2seq解码过程中，第n步中A的概率分布是由1-（n-1）步路径中所有状态决定的，AB和BB生成的A的概率分布是不同的，可能Score(AB)>Score(BB),但Score(ABA)<Score(BBA)。但在viterbi中由于第n步各状态的概率分布只和第n-1步相关，因此Score(AB)>Score(BB)时，Score(ABA)一定大于Score(BBA)。因此seq2seq解码过程中使用维特比算法得不到全局最优解，但HMM，CRF中使用维特比算法可以得到全局最优解。