台湾交通大学的Jen-Tzung Chien教授在WSDN 2020会议上通过教程《Deep Bayesian Data Mining》介绍了深度贝叶斯数据挖掘的相关知识,涵盖了贝叶斯学习、深度序列学习、深度贝叶斯挖掘和学习等内容。

Jen-Tzung Chien教授在WSDM 2020的教程《Deep Bayesian Data Mining》(《深度贝叶斯数据挖掘》)介绍了面向自然语言的深度贝叶斯挖掘和学习,包括了它的基础知识和进展,以及它无处不在的应用,这些应用包括语音识别、文档摘要、文本分类、文本分割、信息抽取、图像描述生成、句子生成、对话控制、情感分类、推荐系统、自动问答和机器翻译等。

从传统上,“深度学习”被认为是一个学习过程,过程中的推断和优化都使用基于实数的判别模型。然而,从大量语料中提取出的词汇、句子、实体、行为和文档的“语义结构”在数学逻辑或计算机程序中可能不能很好地被这种方式表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”可能不能被正确分解或估计。

该教程介绍了统计模型和神经网络的基础,并聚焦于一系列先进的贝叶斯模型和深度模型,包括层次狄利克雷过程、中国餐馆过程、递归神经网络、长短期记忆网络、序列到序列模型、变分自编码器、生成式对抗网络、策略神经网络等。教程还介绍了增强的先验/后验表示。教程展示了这些模型是如何连接的,以及它们为什么适用于自然语言中面向符号和复杂模式的各种应用程序。

变分推断和采样被提出解决解决复杂模型的优化问题。词和句子的嵌入、聚类和联合聚类被语言和语义约束合并。针对深度贝叶斯挖掘、搜索、学习和理解中的不同问题,一系列的案例研究、任务和应用被提出。最后,教程指出一些未来研究的方向和展望。教程旨在向初学者介绍深度贝叶斯学习中的主要主题,激发和解释它对数据挖掘和自然语言理解正在浮现的重要性,并提出一种结合不同的机器学习工作的新的综合方法。

教程的内容大致如下:

  • 简介
    • 动机和背景
    • 概率模型
    • 神经网络
  • 贝叶斯学习
    • 推断和优化
    • 变分贝叶斯推断
    • 蒙特卡罗马尔科夫链推断
  • 深度序列学习
    • 深度非展开主题模型
    • 门递归神经网络
    • 贝叶斯递归神经网络
    • 记忆增强神经网络
    • 序列到序列学习
    • 卷积神经网络
    • 扩增神经网络
    • 基于Transformer的注意力网络
  • 深度贝叶斯挖掘和学习
    • 变分自编码器
    • 变分递归自编码器
    • 层次变分自编码器
    • 随机递归神经网络
    • 正则递归神经网络
    • 跳跃递归神经网络
    • 马尔科夫递归神经网络
    • 时间差分变分自编码器
    • 未来挑战和发展
  • 总结和未来趋势

完整教程下载

请关注专知公众号(点击上方蓝色专知关注) 后台回复“DBDM20” 就可以获取完整教程PDF的下载链接~

教程部分内容如下所示:

参考链接:

http://chien.cm.nctu.edu.tw/home/wsdm-tutorial/

-END- 专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),获取专知VIP会员码,加入专知人工智能主题群,咨询技术商务合作~

点击“阅读原文”,了解注册使用专知

成为VIP会员查看完整内容
136

相关内容

贝叶斯方法可以用于学习神经网络权重的概率分布。将神经网络中的wi 和 b 由确定的值变成分布(distributions)。具体而言,为弥补反向传播的不足,通过在模型参数或模型输出上放置概率分布来估计。在权重上放置一个先验分布,然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。该方法不是训练单个网络,而是训练网络集合,其中每个网络的权重来自共享的、已学习的概率分布。
【WWW2020】DGL深度图神经网络实战教程,PPT+代码
专知会员服务
153+阅读 · 2020年4月12日
【干货书】机器学习Python实战教程,366页pdf
专知会员服务
284+阅读 · 2020年3月17日
【教程推荐】中科大刘淇教授-数据挖掘基础,刘 淇
专知会员服务
58+阅读 · 2020年3月4日
Uber AI NeurIPS 2019《元学习meta-learning》教程,附92页PPT下载
专知会员服务
103+阅读 · 2019年12月13日
图数据表示学习综述论文
专知
36+阅读 · 2019年6月10日
220页深度神经网络基础、理论与挑战PPT【下载】
机器学习算法与Python学习
5+阅读 · 2018年9月12日
300页文本知识提取与推断最新教程
机器学习算法与Python学习
11+阅读 · 2018年8月28日
Arxiv
22+阅读 · 2020年1月2日
Arxiv
5+阅读 · 2019年7月11日
Arxiv
6+阅读 · 2019年5月31日
A General and Adaptive Robust Loss Function
Arxiv
7+阅读 · 2018年11月5日
Arxiv
9+阅读 · 2018年10月18日
Parsimonious Bayesian deep networks
Arxiv
3+阅读 · 2018年10月17日
Arxiv
3+阅读 · 2018年1月10日
VIP会员
相关论文
Arxiv
22+阅读 · 2020年1月2日
Arxiv
5+阅读 · 2019年7月11日
Arxiv
6+阅读 · 2019年5月31日
A General and Adaptive Robust Loss Function
Arxiv
7+阅读 · 2018年11月5日
Arxiv
9+阅读 · 2018年10月18日
Parsimonious Bayesian deep networks
Arxiv
3+阅读 · 2018年10月17日
Arxiv
3+阅读 · 2018年1月10日
微信扫码咨询专知VIP会员