会员服务
神经序列模型 · 循环神经网络 · Transformer ·
2021 年 9 月 3 日
【ICGI2021】神经序列模型: RNNs和Transformers，248页ppt，
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

我们将考虑流行的神经序列处理模型(如RNN和Transformer)与形式化模型(如自动机及其变体)之间的关系。特别地，我们将讨论几种RNN的提取方法，以及通过自动机变体来理解的各种RNN体系结构之间的差异。然后我们将考虑更现代的Transformer。特别是，我们将展示它如何(不!)与现有的正式类相关，并以编程语言的形式提出另一种抽象。

https://icgi2020.lis-lab.fr/speakers/#Guillaume

成为VIP会员查看完整内容
https://icgi2020.lis-lab.fr/speakers/#Guillaume
Formal Abstractions of Neural Sequence Models
45

相关内容

【CHIL2021】可解释机器学习进展，附74页ppt与视频
专知会员服务
91+阅读 · 2021年9月2日
【NAACL2021】Graph4NLP：图深度学习自然语言处理，附239页ppt
【NAACL2021】Graph4NLP：图深度学习自然语言处理，附239页ppt
专知会员服务
105+阅读 · 2021年6月12日
【NAACL2021】长序列自然语言处理, 250页ppt
【NAACL2021】长序列自然语言处理, 250页ppt
专知会员服务
61+阅读 · 2021年6月7日
最新《注意力机制》教程，112页ppt
专知会员服务
306+阅读 · 2020年11月24日
最新《时序分类:深度序列模型》教程，172页ppt
最新《时序分类:深度序列模型》教程，172页ppt
专知会员服务
42+阅读 · 2020年11月11日
【InterSpeech2020】最新《高效与灵活的机器学习实现》教程，177页ppt
【InterSpeech2020】最新《高效与灵活的机器学习实现》教程，177页ppt
专知会员服务
26+阅读 · 2020年11月10日
【DeepMind深度学习课程】序列循环神经网络，141页ppt，Sequences and Recurrent Network
【DeepMind深度学习课程】序列循环神经网络，141页ppt，Sequences and Recurrent Network
专知会员服务
83+阅读 · 2020年6月23日
少标签数据学习，54页ppt
少标签数据学习，54页ppt
专知会员服务
194+阅读 · 2020年5月22日
一份循环神经网络RNNs简明教程，37页ppt
一份循环神经网络RNNs简明教程，37页ppt
专知会员服务
168+阅读 · 2020年5月6日
【EMNLP2019Keynote报告】神经序列模型， Neural Sequence Models，63页ppt
【EMNLP2019Keynote报告】神经序列模型， Neural Sequence Models，63页ppt
专知会员服务
25+阅读 · 2019年11月10日
Transformer模型-深度学习自然语言处理，17页ppt
Transformer模型-深度学习自然语言处理，17页ppt
专知
9+阅读 · 2020年8月30日
【DeepMind硬核课】深度学习注意力与记忆机制，附70页ppt与视频
【DeepMind硬核课】深度学习注意力与记忆机制，附70页ppt与视频
专知
6+阅读 · 2020年6月25日
【斯坦福CS520】向量空间中嵌入的知识图谱推理，48页ppt
【斯坦福CS520】向量空间中嵌入的知识图谱推理，48页ppt
专知
20+阅读 · 2020年6月11日
深度学习自然语言处理概述，116页ppt，Jiří Materna
深度学习自然语言处理概述，116页ppt，Jiří Materna
专知
36+阅读 · 2020年3月10日
从One-hot, Word embedding到Transformer，一步步教你理解Bert
从One-hot, Word embedding到Transformer，一步步教你理解Bert
AI100
15+阅读 · 2019年6月25日
Transformer-XL：释放注意力模型的潜力
Transformer-XL：释放注意力模型的潜力
谷歌开发者
31+阅读 · 2019年2月19日
基于深度学习的文本生成【附217页PPT下载】
基于深度学习的文本生成【附217页PPT下载】
专知
34+阅读 · 2018年11月24日
完全图解RNN、RNN变体、Seq2Seq、Attention机制
完全图解RNN、RNN变体、Seq2Seq、Attention机制
AI研习社
12+阅读 · 2017年9月5日
RNN | RNN实践指南（2）
RNN | RNN实践指南（2）
KingsGarden
19+阅读 · 2017年5月4日
RNN | RNN实践指南（1）
RNN | RNN实践指南（1）
KingsGarden
21+阅读 · 2017年4月4日
Memory-Gated Recurrent Networks
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
Do RNN and LSTM have Long Memory?
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Language Modeling with Deep Transformers
Arxiv
6+阅读 · 2019年7月11日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
Cloze-driven Pretraining of Self-attention Networks
Arxiv
6+阅读 · 2019年3月19日
Music Transformer
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
Seq2Seq2Sentiment: Multimodal Sequence to Sequence Models for Sentiment Analysis
Seq2Seq2Sentiment: Multimodal Sequence to Sequence Models for Sentiment Analysis
Arxiv
5+阅读 · 2018年8月6日
Multilingual Sentiment Analysis: An RNN-Based Framework for Limited Data
Arxiv
12+阅读 · 2018年6月8日
Discrete Autoencoders for Sequence Models
Arxiv
6+阅读 · 2018年1月29日
Composition of PPT Maps
Arxiv
6+阅读 · 2017年12月7日
VIP会员
相关主题
神经序列模型
循环神经网络
Transformer
相关VIP内容
【CHIL2021】可解释机器学习进展，附74页ppt与视频
专知会员服务
91+阅读 · 2021年9月2日
【NAACL2021】Graph4NLP：图深度学习自然语言处理，附239页ppt
【NAACL2021】Graph4NLP：图深度学习自然语言处理，附239页ppt
专知会员服务
105+阅读 · 2021年6月12日
【NAACL2021】长序列自然语言处理, 250页ppt
【NAACL2021】长序列自然语言处理, 250页ppt
专知会员服务
61+阅读 · 2021年6月7日
最新《注意力机制》教程，112页ppt
专知会员服务
306+阅读 · 2020年11月24日
最新《时序分类:深度序列模型》教程，172页ppt
最新《时序分类:深度序列模型》教程，172页ppt
专知会员服务
42+阅读 · 2020年11月11日
【InterSpeech2020】最新《高效与灵活的机器学习实现》教程，177页ppt
【InterSpeech2020】最新《高效与灵活的机器学习实现》教程，177页ppt
专知会员服务
26+阅读 · 2020年11月10日
【DeepMind深度学习课程】序列循环神经网络，141页ppt，Sequences and Recurrent Network
【DeepMind深度学习课程】序列循环神经网络，141页ppt，Sequences and Recurrent Network
专知会员服务
83+阅读 · 2020年6月23日
少标签数据学习，54页ppt
少标签数据学习，54页ppt
专知会员服务
194+阅读 · 2020年5月22日
一份循环神经网络RNNs简明教程，37页ppt
一份循环神经网络RNNs简明教程，37页ppt
专知会员服务
168+阅读 · 2020年5月6日
【EMNLP2019Keynote报告】神经序列模型， Neural Sequence Models，63页ppt
【EMNLP2019Keynote报告】神经序列模型， Neural Sequence Models，63页ppt
专知会员服务
25+阅读 · 2019年11月10日
热门VIP内容
相关资讯
Transformer模型-深度学习自然语言处理，17页ppt
Transformer模型-深度学习自然语言处理，17页ppt
专知
9+阅读 · 2020年8月30日
【DeepMind硬核课】深度学习注意力与记忆机制，附70页ppt与视频
【DeepMind硬核课】深度学习注意力与记忆机制，附70页ppt与视频
专知
6+阅读 · 2020年6月25日
【斯坦福CS520】向量空间中嵌入的知识图谱推理，48页ppt
【斯坦福CS520】向量空间中嵌入的知识图谱推理，48页ppt
专知
20+阅读 · 2020年6月11日
深度学习自然语言处理概述，116页ppt，Jiří Materna
深度学习自然语言处理概述，116页ppt，Jiří Materna
专知
36+阅读 · 2020年3月10日
从One-hot, Word embedding到Transformer，一步步教你理解Bert
从One-hot, Word embedding到Transformer，一步步教你理解Bert
AI100
15+阅读 · 2019年6月25日
Transformer-XL：释放注意力模型的潜力
Transformer-XL：释放注意力模型的潜力
谷歌开发者
31+阅读 · 2019年2月19日
基于深度学习的文本生成【附217页PPT下载】
基于深度学习的文本生成【附217页PPT下载】
专知
34+阅读 · 2018年11月24日
完全图解RNN、RNN变体、Seq2Seq、Attention机制
完全图解RNN、RNN变体、Seq2Seq、Attention机制
AI研习社
12+阅读 · 2017年9月5日
RNN | RNN实践指南（2）
RNN | RNN实践指南（2）
KingsGarden
19+阅读 · 2017年5月4日
RNN | RNN实践指南（1）
RNN | RNN实践指南（1）
KingsGarden
21+阅读 · 2017年4月4日
相关论文
Memory-Gated Recurrent Networks
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
Do RNN and LSTM have Long Memory?
Do RNN and LSTM have Long Memory?
Arxiv
19+阅读 · 2020年6月10日
Language Modeling with Deep Transformers
Arxiv
6+阅读 · 2019年7月11日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
Cloze-driven Pretraining of Self-attention Networks
Arxiv
6+阅读 · 2019年3月19日
Music Transformer
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
Seq2Seq2Sentiment: Multimodal Sequence to Sequence Models for Sentiment Analysis
Seq2Seq2Sentiment: Multimodal Sequence to Sequence Models for Sentiment Analysis
Arxiv
5+阅读 · 2018年8月6日
Multilingual Sentiment Analysis: An RNN-Based Framework for Limited Data
Arxiv
12+阅读 · 2018年6月8日
Discrete Autoencoders for Sequence Models
Arxiv
6+阅读 · 2018年1月29日
Composition of PPT Maps
Arxiv
6+阅读 · 2017年12月7日
微信扫码咨询专知VIP会员
Top