会员服务
变换 · Extensibility · 最大后验概率估计 · 后验分布 · 估计/估计量 ·
2020 年 10 月 30 日
Probabilistic Transformers
翻译：概率变换器
Javier R. Movellan
Javier R. Movellan

We show that Transformers are Maximum Posterior Probability estimators for Mixtures of Gaussian Models. This brings a probabilistic point of view to Transformers and suggests extensions to other probabilistic cases.


翻译：我们显示,变换器是高山模型混合体的最大外在概率估计器。 这给变换器带来一个概率观点, 并提示其他概率案例的扩展 。
0
下载
关闭预览

相关内容

最新《Transformers模型》教程，64页ppt
最新《Transformers模型》教程，64页ppt
专知会员服务
315+阅读 · 2020年11月26日
Transformer模型-深度学习自然语言处理，17页ppt
Transformer模型-深度学习自然语言处理，17页ppt
专知会员服务
106+阅读 · 2020年8月30日
【CVPR2020】视觉跟踪的概率回归，Probabilistic Regression for Visual Tracking
【CVPR2020】视觉跟踪的概率回归，Probabilistic Regression for Visual Tracking
专知会员服务
37+阅读 · 2020年3月27日
PGM2020开始了！CMU-邢波Eric P. Xing教授经典课程《概率图模型》，不可错过！
PGM2020开始了！CMU-邢波Eric P. Xing教授经典课程《概率图模型》，不可错过！
专知会员服务
88+阅读 · 2020年2月6日
Transformer文本分类代码
Transformer文本分类代码
专知会员服务
117+阅读 · 2020年2月3日
【斯坦福大学AAAI2020】跨越因果层次的概率推理，Probabilistic Reasoning across the Causal Hierarchy
【斯坦福大学AAAI2020】跨越因果层次的概率推理，Probabilistic Reasoning across the Causal Hierarchy
专知会员服务
46+阅读 · 2020年1月11日
【论文】用于推理的概率逻辑神经网络（Probabilistic Logic Neural Networks for Reasoning）
【论文】用于推理的概率逻辑神经网络（Probabilistic Logic Neural Networks for Reasoning）
专知会员服务
104+阅读 · 2019年12月30日
经典书《机器学习：概率视角》（Machine Learning: a Probabilistic Perspective）第二版Python代码，附1098页pdf下载
经典书《机器学习：概率视角》（Machine Learning: a Probabilistic Perspective）第二版Python代码，附1098页pdf下载
专知会员服务
272+阅读 · 2019年10月25日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
49+阅读 · 2019年10月17日
ExBert — 可视化分析Transformer学到的表示
ExBert — 可视化分析Transformer学到的表示
专知会员服务
32+阅读 · 2019年10月16日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
Disentangled的假设的探讨
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进！cGANs with Projection Discriminator
条件GAN重大改进！cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
NIPS 2017：贝叶斯深度学习与深度贝叶斯学习（讲义+视频）
NIPS 2017：贝叶斯深度学习与深度贝叶斯学习（讲义+视频）
机器学习研究会
36+阅读 · 2017年12月10日
计算机视觉近一年进展综述
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【论文】变分推断（Variational inference)的总结
【论文】变分推断（Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
gan生成图像at 1024² 的 代码 论文
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
自然语言处理 (NLP)资源大全
自然语言处理 (NLP)资源大全
机械鸡
35+阅读 · 2017年9月17日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Semiparametric inference on general functionals of two semicontinuous populations
Arxiv
0+阅读 · 2020年12月13日
An improved mixture of probabilistic PCA for nonlinear data-driven process monitoring
Arxiv
2+阅读 · 2020年12月12日
Probabilistic Conditional System Invariant Generation with Bayesian Inference
Arxiv
0+阅读 · 2020年12月11日
Probabilistic Tracklet Scoring and Inpainting for Multiple Object Tracking
Probabilistic Tracklet Scoring and Inpainting for Multiple Object Tracking
Arxiv
0+阅读 · 2020年12月10日
Low-rank matrix estimation in multi-response regression with measurement errors: Statistical and computational guarantees
Arxiv
0+阅读 · 2020年12月10日
Probabilistic Logic Neural Networks for Reasoning
Arxiv
7+阅读 · 2019年6月20日
Few-shot Learning with Meta Metric Learners
Arxiv
13+阅读 · 2019年1月26日
Guess who? Multilingual approach for the automated generation of author-stylized poetry
Guess who? Multilingual approach for the automated generation of author-stylized poetry
Arxiv
4+阅读 · 2018年9月17日
Inference in Probabilistic Graphical Models by Graph Neural Networks
Arxiv
3+阅读 · 2018年5月25日
TensorLog: Deep Learning Meets Probabilistic DBs
Arxiv
6+阅读 · 2017年7月17日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
变换
Extensibility
最大后验概率估计
后验分布
估计/估计量
相关VIP内容
最新《Transformers模型》教程，64页ppt
最新《Transformers模型》教程，64页ppt
专知会员服务
315+阅读 · 2020年11月26日
Transformer模型-深度学习自然语言处理，17页ppt
Transformer模型-深度学习自然语言处理，17页ppt
专知会员服务
106+阅读 · 2020年8月30日
【CVPR2020】视觉跟踪的概率回归，Probabilistic Regression for Visual Tracking
【CVPR2020】视觉跟踪的概率回归，Probabilistic Regression for Visual Tracking
专知会员服务
37+阅读 · 2020年3月27日
PGM2020开始了！CMU-邢波Eric P. Xing教授经典课程《概率图模型》，不可错过！
PGM2020开始了！CMU-邢波Eric P. Xing教授经典课程《概率图模型》，不可错过！
专知会员服务
88+阅读 · 2020年2月6日
Transformer文本分类代码
Transformer文本分类代码
专知会员服务
117+阅读 · 2020年2月3日
【斯坦福大学AAAI2020】跨越因果层次的概率推理，Probabilistic Reasoning across the Causal Hierarchy
【斯坦福大学AAAI2020】跨越因果层次的概率推理，Probabilistic Reasoning across the Causal Hierarchy
专知会员服务
46+阅读 · 2020年1月11日
【论文】用于推理的概率逻辑神经网络（Probabilistic Logic Neural Networks for Reasoning）
【论文】用于推理的概率逻辑神经网络（Probabilistic Logic Neural Networks for Reasoning）
专知会员服务
104+阅读 · 2019年12月30日
经典书《机器学习：概率视角》（Machine Learning: a Probabilistic Perspective）第二版Python代码，附1098页pdf下载
经典书《机器学习：概率视角》（Machine Learning: a Probabilistic Perspective）第二版Python代码，附1098页pdf下载
专知会员服务
272+阅读 · 2019年10月25日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
49+阅读 · 2019年10月17日
ExBert — 可视化分析Transformer学到的表示
ExBert — 可视化分析Transformer学到的表示
专知会员服务
32+阅读 · 2019年10月16日
热门VIP内容
相关资讯
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
Disentangled的假设的探讨
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进！cGANs with Projection Discriminator
条件GAN重大改进！cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
NIPS 2017：贝叶斯深度学习与深度贝叶斯学习（讲义+视频）
NIPS 2017：贝叶斯深度学习与深度贝叶斯学习（讲义+视频）
机器学习研究会
36+阅读 · 2017年12月10日
计算机视觉近一年进展综述
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【论文】变分推断（Variational inference)的总结
【论文】变分推断（Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
gan生成图像at 1024² 的 代码 论文
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
自然语言处理 (NLP)资源大全
自然语言处理 (NLP)资源大全
机械鸡
35+阅读 · 2017年9月17日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Semiparametric inference on general functionals of two semicontinuous populations
Arxiv
0+阅读 · 2020年12月13日
An improved mixture of probabilistic PCA for nonlinear data-driven process monitoring
Arxiv
2+阅读 · 2020年12月12日
Probabilistic Conditional System Invariant Generation with Bayesian Inference
Arxiv
0+阅读 · 2020年12月11日
Probabilistic Tracklet Scoring and Inpainting for Multiple Object Tracking
Probabilistic Tracklet Scoring and Inpainting for Multiple Object Tracking
Arxiv
0+阅读 · 2020年12月10日
Low-rank matrix estimation in multi-response regression with measurement errors: Statistical and computational guarantees
Arxiv
0+阅读 · 2020年12月10日
Probabilistic Logic Neural Networks for Reasoning
Arxiv
7+阅读 · 2019年6月20日
Few-shot Learning with Meta Metric Learners
Arxiv
13+阅读 · 2019年1月26日
Guess who? Multilingual approach for the automated generation of author-stylized poetry
Guess who? Multilingual approach for the automated generation of author-stylized poetry
Arxiv
4+阅读 · 2018年9月17日
Inference in Probabilistic Graphical Models by Graph Neural Networks
Arxiv
3+阅读 · 2018年5月25日
TensorLog: Deep Learning Meets Probabilistic DBs
Arxiv
6+阅读 · 2017年7月17日
Top
微信扫码咨询专知VIP会员
Top