1GB文本标记只需20秒!抱抱脸团队发布最新NLP工具|资源

2020 年 1 月 14 日 量子位
赖可 发自 凹非寺
量子位 报道 | 公众号 QbitAI

专注NLP的强大团队抱抱脸(hugging face)又发新资源!这一次是帮助NLP过程中,词语切分(tokenization)更快的Tokenizers。

只要20秒就能编码1GB文本,适用Rust、Python和Node.js,已经在GitHub上获得了800多星。

前不久,这个团队也凭借自己的技术实力获得了1500万美元的天使投资。

速度快,功能多样

在NLP模型训练中,词语标记和切分往往是一个瓶颈。Tokenizer能够训练新的词汇,并且进行标记。

功能多样:适用于BPE/byte-level-BPE/WordPiece/SentencePiece各种NLP处理模型

可以完成所有的预处理:截断(Truncate)、填补(Pad)、添加模型需要的特殊标记。

速度超级快:只需要20秒就可以在CPU上标记1GB的文本。

目前适用三种编程语言:Rust/Python/Node.js

使用示例

github的资源页面上提供了在Python上使用Tokenizers的示例,进行简单的设置就可以使用:

也可以用Tokenizers进行新词训练:

虽然目前只可用于三种语言Python、JS、Rust,抱抱脸团队表示,将来会继续升级以适用更多

抱抱脸团队最新进展

抱抱脸团队是一个创业团队。他们的Transformers是github上最火的NLP项目,已经获得了20K星。

作为专注于自然语言处理的创业公司,他们的目标是开发一个可以使用文字、照片、表情包的聊天机器人,名字叫做social AI 。

目前已经经过了三轮融资,共2000万美元。其中,在2019年底的A轮融资中,公司获得了1500万美元,并打算将员工增加两倍。

目前公司尚未盈利。创始人Clement Delangue在获得A轮融资后表示,除了对话AI之外,公司正在构建通用的NLP技术,希望让NLP技术满足公司的多样化需求。

传送门

https://github.com/huggingface/tokenizers

参考资料
https://techcrunch.com/2019/12/17/hugging-face-raises-15-million-to-build-the-definitive-natural-language-processing-library/
https://www.alleywatch.com/2019/12/hugging-face-natural-language-processing-open-source-clement-delangue/

新年福利 | 抽奖送小度智能音箱

新年快乐!抽3位小伙伴送出小度在家1C红色版,点击“阅读原文”,即可在微博参与转发抽奖,周三10点开奖哦 ~


量子位 QbitAI · 头条号签约作者



վ'ᴗ' ի 追踪AI技术和产品新动态


喜欢就点「在看」吧 !




登录查看更多
0

相关内容

抱抱是一款第三方手机视频直播App软件。
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
112+阅读 · 2020年4月23日
【Amazon】使用预先训练的Transformer模型进行数据增强
专知会员服务
56+阅读 · 2020年3月6日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
【干货】用BRET进行多标签文本分类(附代码)
专知会员服务
84+阅读 · 2019年12月27日
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
TensorFlow 2.0 学习资源汇总
专知会员服务
66+阅读 · 2019年10月9日
【资源】NLP多标签文本分类代码实现工具包
专知
40+阅读 · 2019年11月20日
polyglot:Pipeline 多语言NLP工具
AINLP
4+阅读 · 2018年12月11日
资源 | 中文NLP资源库
机器学习算法与Python学习
20+阅读 · 2018年11月22日
资源警告!有人收罗了40个中文NLP词库,放到了GitHub上
中国人工智能学会
9+阅读 · 2018年11月16日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
6+阅读 · 2019年7月11日
CoQA: A Conversational Question Answering Challenge
Arxiv
7+阅读 · 2018年8月21日
Arxiv
8+阅读 · 2018年1月19日
VIP会员
相关VIP内容
【北航】面向自然语言处理的预训练技术研究综述
专知会员服务
112+阅读 · 2020年4月23日
【Amazon】使用预先训练的Transformer模型进行数据增强
专知会员服务
56+阅读 · 2020年3月6日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
【干货】用BRET进行多标签文本分类(附代码)
专知会员服务
84+阅读 · 2019年12月27日
【文章|BERT三步使用NLP迁移学习】NLP Transfer Learning In 3 Steps
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
TensorFlow 2.0 学习资源汇总
专知会员服务
66+阅读 · 2019年10月9日
Top
微信扫码咨询专知VIP会员