会员服务
语言模型化 · MoDELS · Principle · Python · 自然语言处理 ·
2021 年 3 月 26 日
Functorial Language Models
翻译：文库语言模式
Alexis Toumi,Alex Koziell-Pipe
Alexis Toumi,Alex Koziell-Pipe
from arxiv, Submitted to SemSpace 2021

We introduce functorial language models: a principled way to compute probability distributions over word sequences given a monoidal functor from grammar to meaning. This yields a method for training categorical compositional distributional (DisCoCat) models on raw text data. We provide a proof-of-concept implementation in DisCoPy, the Python toolbox for monoidal categories.


翻译：我们引入了调试语言模型: 一种原则性的方法, 用来计算从语法到含义的单相形色谱真菌真象序列的概率分布。 这产生了一种在原始文本数据上培训绝对成份分布模型的方法。 我们在 DiscoPy, 即单相色谱类的 Python 工具箱中提供概念执行证明 。
0
下载
关闭预览

相关内容

【MIT干货书】机器学习算法视角，126页pdf
【MIT干货书】机器学习算法视角，126页pdf
专知会员服务
78+阅读 · 2021年1月25日
【干货书】机器学习速查手册，135页pdf
【干货书】机器学习速查手册，135页pdf
专知会员服务
127+阅读 · 2020年11月20日
2020数据工程师成长路线图
专知会员服务
19+阅读 · 2020年9月6日
【2020新书】自然语言处理Python与spaCy实践，216页pdf，NLP with Python
【2020新书】自然语言处理Python与spaCy实践，216页pdf，NLP with Python
专知会员服务
108+阅读 · 2020年5月1日
【论文翻译】NLP注意力机制综述论文翻译，Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing
【论文翻译】NLP注意力机制综述论文翻译，Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing
专知会员服务
96+阅读 · 2020年4月18日
图像分类技巧集，17页ppt《Bag of Tricks for Image Classification》
图像分类技巧集，17页ppt《Bag of Tricks for Image Classification》
专知会员服务
95+阅读 · 2020年3月12日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
49+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
36+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
160+阅读 · 2019年10月12日
2019年机器学习框架回顾
2019年机器学习框架回顾
专知会员服务
36+阅读 · 2019年10月11日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
上百种预训练中文词向量：Chinese-Word-Vectors
上百种预训练中文词向量：Chinese-Word-Vectors
AINLP
23+阅读 · 2019年2月26日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
R文本分类之RTextTools
R文本分类之RTextTools
R语言中文社区
4+阅读 · 2018年1月17日
【推荐】(Python)多种模型(Naive Bayes, SVM, CNN, LSTM, etc)实现推文情感分析
【推荐】(Python)多种模型(Naive Bayes, SVM, CNN, LSTM, etc)实现推文情感分析
机器学习研究会
13+阅读 · 2017年12月25日
【推荐】自然语言处理（NLP）指南
【推荐】自然语言处理（NLP）指南
机器学习研究会
35+阅读 · 2017年11月17日
【推荐】用Tensorflow理解LSTM
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
【推荐】GAN架构入门综述(资源汇总)
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
【推荐】(Keras)LSTM多元时序预测教程
【推荐】(Keras)LSTM多元时序预测教程
机器学习研究会
24+阅读 · 2017年8月14日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Directional Bias Amplification
Arxiv
3+阅读 · 2021年2月24日
Making Pre-trained Language Models Better Few-shot Learners
Arxiv
14+阅读 · 2020年12月31日
Unsupervised Domain Clusters in Pretrained Language Models
Arxiv
11+阅读 · 2020年4月5日
Pre-trained Models for Natural Language Processing: A Survey
Arxiv
113+阅读 · 2020年3月18日
Data Augmentation using Pre-trained Transformer Models
Arxiv
17+阅读 · 2020年3月4日
UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training
Arxiv
15+阅读 · 2020年2月28日
Latent Relation Language Models
Arxiv
21+阅读 · 2019年8月21日
Dialogue Natural Language Inference
Arxiv
7+阅读 · 2018年11月1日
Discrete Autoencoders for Sequence Models
Arxiv
6+阅读 · 2018年1月29日
Fine-tuned Language Models for Text Classification
Arxiv
5+阅读 · 2018年1月18日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
语言模型化
MoDELS
Principle
Python
自然语言处理
相关VIP内容
【MIT干货书】机器学习算法视角，126页pdf
【MIT干货书】机器学习算法视角，126页pdf
专知会员服务
78+阅读 · 2021年1月25日
【干货书】机器学习速查手册，135页pdf
【干货书】机器学习速查手册，135页pdf
专知会员服务
127+阅读 · 2020年11月20日
2020数据工程师成长路线图
专知会员服务
19+阅读 · 2020年9月6日
【2020新书】自然语言处理Python与spaCy实践，216页pdf，NLP with Python
【2020新书】自然语言处理Python与spaCy实践，216页pdf，NLP with Python
专知会员服务
108+阅读 · 2020年5月1日
【论文翻译】NLP注意力机制综述论文翻译，Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing
【论文翻译】NLP注意力机制综述论文翻译，Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing
专知会员服务
96+阅读 · 2020年4月18日
图像分类技巧集，17页ppt《Bag of Tricks for Image Classification》
图像分类技巧集，17页ppt《Bag of Tricks for Image Classification》
专知会员服务
95+阅读 · 2020年3月12日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
49+阅读 · 2019年10月17日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
36+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
160+阅读 · 2019年10月12日
2019年机器学习框架回顾
2019年机器学习框架回顾
专知会员服务
36+阅读 · 2019年10月11日
热门VIP内容
相关资讯
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
上百种预训练中文词向量：Chinese-Word-Vectors
上百种预训练中文词向量：Chinese-Word-Vectors
AINLP
23+阅读 · 2019年2月26日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
R文本分类之RTextTools
R文本分类之RTextTools
R语言中文社区
4+阅读 · 2018年1月17日
【推荐】(Python)多种模型(Naive Bayes, SVM, CNN, LSTM, etc)实现推文情感分析
【推荐】(Python)多种模型(Naive Bayes, SVM, CNN, LSTM, etc)实现推文情感分析
机器学习研究会
13+阅读 · 2017年12月25日
【推荐】自然语言处理（NLP）指南
【推荐】自然语言处理（NLP）指南
机器学习研究会
35+阅读 · 2017年11月17日
【推荐】用Tensorflow理解LSTM
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
【推荐】GAN架构入门综述(资源汇总)
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
【推荐】(Keras)LSTM多元时序预测教程
【推荐】(Keras)LSTM多元时序预测教程
机器学习研究会
24+阅读 · 2017年8月14日
Auto-Encoding GAN
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Directional Bias Amplification
Arxiv
3+阅读 · 2021年2月24日
Making Pre-trained Language Models Better Few-shot Learners
Arxiv
14+阅读 · 2020年12月31日
Unsupervised Domain Clusters in Pretrained Language Models
Arxiv
11+阅读 · 2020年4月5日
Pre-trained Models for Natural Language Processing: A Survey
Arxiv
113+阅读 · 2020年3月18日
Data Augmentation using Pre-trained Transformer Models
Arxiv
17+阅读 · 2020年3月4日
UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training
Arxiv
15+阅读 · 2020年2月28日
Latent Relation Language Models
Arxiv
21+阅读 · 2019年8月21日
Dialogue Natural Language Inference
Arxiv
7+阅读 · 2018年11月1日
Discrete Autoencoders for Sequence Models
Arxiv
6+阅读 · 2018年1月29日
Fine-tuned Language Models for Text Classification
Arxiv
5+阅读 · 2018年1月18日
Top
微信扫码咨询专知VIP会员
Top