【导读】NeurIPS,全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),作为关于机器学习和计算神经科学的国际会议,每年固定在12月举行,由NIPS基金会主办。NeurIPS是机器学习领域的顶级会议 ,是神经计算方面最好的会议之一 。在中国计算机学会的国际学术会议排名中,NeurIPS为人工智能领域的A类会议。NeurIPS 2021将于12月6日-12月14日在加拿大蒙特利尔采用线上线下结合的方式举办。
来自新加坡国立大学Wee Sun Lee教授做《机器学习中的消息传递-从图模型到GNN》报告,NeurIPS | 2021教程,95页ppt,值的关注!
Wee Sun Lee
新加坡国立大学计算机科学系教授。1992年在昆士兰大学获得学士学位,1996年在澳大利亚国立大学获得博士学位。他曾是澳大利亚国防学院的研究员,新加坡-麻省理工联盟的成员,以及麻省理工学院的访问科学家。主要研究方向为机器学习、不确定性规划、近似推理等。
https://www.comp.nus.edu.sg/~leews/
机器学习中的消息传递
消息传递算法是在图上操作的分布式算法,其中每个节点只使用本地存在于节点和事件边缘的信息,并且只将信息发送给其邻近节点。它们通常在机器学习中非常有效,而且相对容易并行化。例子包括概率图形模型的近似推理算法,马尔科夫决策过程的值迭代算法,图神经网络和注意力网络。
本教程介绍了概率图模型常用的近似推理算法和马尔科夫决策过程的值迭代算法,重点是了解算法优化的目标。然后我们考虑更灵活但更难以解释的信息传递算法,包括图神经网络和注意力网络。我们讨论了这些更灵活的网络如何模拟更易于解释的算法,通过算法对齐提供了对这些网络的归纳偏差的一些理解,并允许将这种理解用于网络设计。