In this paper we explore new representations for encoding language data.The general method of one-hot encoding grows linearly with the size of the word corpus in space-complexity. We address this by using Random Indexing(RI) of context vectors with nonzero entries. We propose a novel RI representation where we exploit the effect imposing a probability distribution on the number of randomized entries which leads to a class of RI representations. We also propose an algorithm to track the semantic relationship of the key word to other words and hence propose an algorithm for suggesting the events that could happen relevant to the word in question. Finally we run simulations on the novel RI representations using the proposed algorithms for tweets relevant to the word ``iPhone'' and present results. The RI representation is shown to be faster and space efficient as compared to BoW embeddings.


翻译:在本文中,我们探索编码语言数据的新表达方式。 单热编码的一般方法随着空间复杂度中字体的大小而线性地增长。 我们通过使用无零条目的上下文矢量随机索引(RI)来解决这个问题。 我们提出一个新的 RI 表示方式, 利用这种效果对随机输入条目的数量进行概率分布, 从而导致产生一类RI 表示方式。 我们还提议了一种算法, 以跟踪关键词与其他词的语义关系, 从而提出一种算法, 来建议可能发生与该词相关的事件。 最后, 我们用与“ iPhone” 字相关的推文的拟议算法来模拟新的 RI 表示方式, 并展示结果。 RI 表示方式显示比 BoW 嵌入式更快, 空间效率也更高 。

0
下载
关闭预览

相关内容

专知会员服务
123+阅读 · 2020年9月8日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
已删除
将门创投
5+阅读 · 2018年1月24日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Arxiv
26+阅读 · 2020年2月21日
Arxiv
21+阅读 · 2019年8月21日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
已删除
将门创投
5+阅读 · 2018年1月24日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Top
微信扫码咨询专知VIP会员