会员服务
分散式表示即将语言表示为稠密、低维、连续的向量。 研究者最早发现学习得到词嵌入之间存在类比关系。比如apple−apples ≈ car−cars， man−woman ≈ king – queen 等。这些方法都可以直接在大规模无标注语料上进行训练。词嵌入的质量也非常依赖于上下文窗口大小的选择。通常大的上下文窗口学到的词嵌入更反映主题信息，而小的上下文窗口学到的词嵌入更反映词的功能和上下文语义信息。

精品内容

AAAI2022 | 因果推理下的词向量：降低性别偏见并保留语义信息
AAAI2022 | 因果推理下的词向量：降低性别偏见并保留语义信息
专知会员服务
23+阅读 · 2022年2月15日
基于深度学习的主题模型研究，中文综述，29页pdf，计算机学报
基于深度学习的主题模型研究，中文综述，29页pdf，计算机学报
专知会员服务
122+阅读 · 2020年5月20日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
93+阅读 · 2020年4月13日
所有好的向量空间都是同构的吗?Are All Good Word Vector Spaces Isomorphic?
所有好的向量空间都是同构的吗?Are All Good Word Vector Spaces Isomorphic?
专知会员服务
8+阅读 · 2020年4月12日
【清华大学】Bert 简介，Bidirectional Encoder Representations from Transformers，21页ppt
【清华大学】Bert 简介，Bidirectional Encoder Representations from Transformers，21页ppt
专知会员服务
78+阅读 · 2019年12月29日
【中科院信工所】社交媒体情感分析，40页ppt
【中科院信工所】社交媒体情感分析，40页ppt
专知会员服务
100+阅读 · 2019年12月13日
基于图的word2vec负采样( GNEG:Graph-Based Negative Sampling for word2vec)
基于图的word2vec负采样( GNEG:Graph-Based Negative Sampling for word2vec)
专知会员服务
39+阅读 · 2019年11月23日
【EMNLP 2019 最佳论文】信息瓶颈专门化单词嵌入（用于解析）（Specializing Word Embeddings（for Parsing）by Information Bottleneck）
【EMNLP 2019 最佳论文】信息瓶颈专门化单词嵌入（用于解析）（Specializing Word Embeddings（for Parsing）by Information Bottleneck）
专知会员服务
23+阅读 · 2019年11月20日
【CCL 2019】ATT-第19期：预训练模型--自然语言处理的新范式 （车万翔 ）
【CCL 2019】ATT-第19期：预训练模型--自然语言处理的新范式 （车万翔 ）
专知会员服务
40+阅读 · 2019年11月12日
参考链接
父主题
语言表示
微信扫码咨询专知VIP会员
Top