【互信息与自监督学习，32页ppt】'Notes and tutorials on "Mutual information and self-supervised learning‘“

简介：互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性.本教程中运用深度最大化信息的方法来对输入的图片和它的表示有一个很好的表征学习。针对互信息的精准计算、最大化整个图像输入和输出表示之间的互信息等问题都提出了合理的解决方案。