中文自然语言处理相关资料集合指南

2019 年 3 月 10 日 专知
中文自然语言处理相关资料集合指南

【导读】crownpku维护了一个关于中文自然语言处理相关资料索引网站,包含中文NLP工具、中文语料、中文NLP学术组织、中文NLP商业服务等。


地址:

https://github.com/crownpku/Awesome-Chinese-NLP


列表

1. Chinese NLP Toolkits 中文NLP工具

  • Toolkits 综合NLP工具包

  • Popular NLP Toolkits for English/Multi-Language 常用的英文或支持多语言的NLP工具包

  • Chinese Word Segment 中文分词

  • Information Extraction 信息提取

  • QA & Chatbot 问答和聊天机器人

2. Corpus 中文语料

3. Organizations 中文NLP学术组织及竞赛

4. Industry 中文NLP商业服务

5. Learning Materials 学习资料

Chinese NLP Toolkits 中文NLP工具

Toolkits 综合NLP工具包

  • THULAC 中文词法分析工具包 by 清华 (C++/Java/Python)

  • NLPIR by 中科院 (Java)

  • LTP 语言技术平台 by 哈工大 (C++) pylyp LTP的python封装

  • FudanNLP by 复旦 (Java)

  • BaiduLac by 百度 Baidu's open-source lexical analysis tool for Chinese, including word segmentation, part-of-speech tagging & named entity recognition.

  • HanLP (Java)

  • SnowNLP (Python) Python library for processing Chinese text

  • YaYaNLP (Python) 纯python编写的中文自然语言处理包,取名于“牙牙学语”

  • 小明NLP (Python) 轻量级中文自然语言处理工具

  • DeepNLP (Python) Deep Learning NLP Pipeline implemented on Tensorflow with pretrained Chinese models.

  • chinese_nlp (C++ & Python) Chinese Natural Language Processing tools and examples

  • Chinese-Annotator (Python) Annotator for Chinese Text Corpus 中文文本标注工具

  • Poplar (Typescript) A web-based annotation tool for natural language processing (NLP)

Popular NLP Toolkits for English/Multi-Language 常用的英文或支持多语言的NLP工具包

  • CoreNLP by Stanford (Java) A Java suite of core NLP tools.

  • NLTK (Python) Natural Language Toolkit

  • spaCy (Python) Industrial-Strength Natural Language Processing

  • textacy (Python) NLP, before and after spaCy

  • OpenNLP (Java) A machine learning based toolkit for the processing of natural language text.

  • gensim (Python) Gensim is a Python library for topic modelling, document indexing and similarity retrieval with large corpora.

  • Kashgari - Simple and powerful NLP framework, build your state-of-art model in 5 minutes for named entity recognition (NER), part-of-speech tagging (PoS) and text classification tasks. Includes BERT and word2vec embedding.

Chinese Word Segment 中文分词

  • Jieba 结巴中文分词 (Python及大量其它编程语言衍生) 做最好的 Python 中文分词组件

  • 北大中文分词工具 (Python) 高准确度中文分词工具,简单易用,跟现有开源工具相比大幅提高了分词的准确率。

  • kcws 深度学习中文分词 (Python) BiLSTM+CRF与IDCNN+CRF

  • ID-CNN-CWS (Python) Iterated Dilated Convolutions for Chinese Word Segmentation

  • Genius 中文分词 (Python) Genius是一个开源的python中文分词组件,采用 CRF(Conditional Random Field)条件随机场算法。

  • loso 中文分词 (Python)

  • yaha "哑哈"中文分词 (Python)

  • ChineseWordSegmentation (Python) Chinese word segmentation algorithm without corpus(无需语料库的中文分词)

  • Go语言高性能分词 (Go) Go efficient text segmentation; support english, chinese, japanese and other.

Information Extraction 信息提取

  • MITIE (C++) library and tools for information extraction

  • Duckling (Haskell) Language, engine, and tooling for expressing, testing, and evaluating composable language rules on input strings.

  • IEPY (Python) IEPY is an open source tool for Information Extraction focused on Relation Extraction.

  • Snorkel A training data creation and management system focused on information extraction

  • Neural Relation Extraction implemented with LSTM in TensorFlow

  • A neural network model for Chinese named entity recognition

  • Information-Extraction-Chinese Chinese Named Entity Recognition with IDCNN/biLSTM+CRF, and Relation Extraction with biGRU+2ATT 中文实体识别与关系提取

  • Familia 百度出品的 A Toolkit for Industrial Topic Modeling

  • Text Classification All kinds of text classificaiton models and more with deep learning. 用知乎问答语聊作为测试数据。

QA & Chatbot 问答和聊天机器人

  • Rasa NLU (Python) turn natural language into structured data, a Chinese fork at Rasa NLU Chi

  • Rasa Core (Python) machine learning based dialogue engine for conversational software

  • Snips NLU (Python) Snips NLU is a Python library that allows to parse sentences written in natural language and extracts structured information.

  • DeepPavlov (Python) An open source library for building end-to-end dialog systems and training chatbots.

  • ChatScript Natural Language tool/dialog manager, a rule-based chatbot engine.

  • Chatterbot (Python) ChatterBot is a machine learning, conversational dialog engine for creating chat bots.

  • Chatbot (Python) 基於向量匹配的情境式聊天機器人

  • Tipask (PHP) 一款开放源码的PHP问答系统,基于Laravel框架开发,容易扩展,具有强大的负载能力和稳定性。

  • QuestionAnsweringSystem (Java) 一个Java实现的人机问答系统,能够自动分析问题并给出候选答案。

  • QA-Snake (Python) 基于多搜索引擎和深度学习技术的自动问答

  • 使用TensorFlow实现的Sequence to Sequence的聊天机器人模型 (Python)

  • 使用深度学习算法实现的中文阅读理解问答系统 (Python)

  • DuReader中文阅读理解Baseline代码 (Python)

  • 基于SmartQQ的自动机器人框架 (Python)

  • QASystemOnMedicalKG (Python) 以疾病为中心的一定规模医药领域知识图谱,并以该知识图谱完成自动问答与分析服务。



Corpus 中文语料

  • 开放知识图谱OpenKG.cn

  • 开放中文知识图谱的schema

  • 大规模中文概念图谱CN-Probase 公众号介绍

  • 农业知识图谱 农业领域的信息检索,命名实体识别,关系抽取,分类树构建,数据挖掘

  • CLDC中文语言资源联盟

  • 中文 Wikipedia Dump

  • 98年人民日报词性标注库@百度盘

  • 搜狗20061127新闻语料(包含分类)@百度盘

  • UDChinese (for training spaCy POS)

  • 中文word2vec模型

  • 上百种预训练中文词向量

  • Tencent AI Lab Embedding Corpus for Chinese Words and Phrases

  • 中华新华字典数据库 包括歇后语,成语,词语,汉字。

  • Synonyms:中文近义词工具包 基于维基百科中文和word2vec训练的近义词库,封装为python包文件。

  • Chinese_conversation_sentiment A Chinese sentiment dataset may be useful for sentiment analysis.

  • 中文突发事件语料库 Chinese Emergency Corpus

  • dgk_lost_conv 中文对白语料 chinese conversation corpus

  • 用于训练中英文对话系统的语料库 Datasets for Training Chatbot System

  • 八卦版問答中文語料

  • 中国股市公告信息爬取 通过python脚本从巨潮网络的服务器获取中国股市(sz,sh)的公告(上市公司和监管机构)

  • tushare财经数据接口 TuShare是一个免费、开源的python财经数据接口包。

  • 保险行业语料库 [52nlp介绍Blog] OpenData in insurance area for Machine Learning Tasks

  • 最全中华古诗词数据库 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人,21050首词。

  • DuReader中文阅读理解数据

  • 中文语料小数据 包含了中文命名实体识别、中文关系识别、中文阅读理解等一些小量数据

  • 大规模中文自然语言处理语料 维基百科(wiki2019zh),新闻语料(news2016zh),百科问答(baike2018qa)

  • 中文人名语料库 中文姓名,姓氏,名字,称呼,日本人名,翻译人名,英文人名。

  • 中文敏感词词库 敏感词过滤的几种实现+某1w词敏感词库

  • 中文简称词库 A corpus of Chinese abbreviation, including negative full forms.

  • 中文数据预处理材料 中文分词词典和中文停用词

  • 漢語拆字字典

  • SentiBridge: 中文实体情感知识库 刻画人们如何描述某个实体,包含新闻、旅游、餐饮,共计30万对。

  • OpenCorpus A collection of freely available (Chinese) corpora.

  • ChineseNlpCorpus 情感/观点/评论 倾向性分析,中文命名实体识别,推荐系统



Organizations 中文NLP学术组织及竞赛

  • 清华大学自然语言处理与人文计算实验室

  • 北京大学计算语言学教育部重点实验室

  • 中科院计算所自然语言处理研究组

  • 哈工大智能技术与自然语言处理实验室

  • 复旦大学自然语言处理组

  • 苏州大学自然语言处理组

  • 南京大学自然语言处理研究组

  • 东北大学自然语言处理实验室

  • 厦门大学智能科学与技术系自然语言处理实验室

  • 郑州大学自然语言处理实验室

  • 微软亚洲研究院自然语言处理

  • 华为诺亚方舟实验室

  • CUHK Text Mining Group

  • PolyU Social Media Mining Group

  • HKUST Human Language Technology Center

  • National Taiwan University NLP Lab

  • 中国中文信息学会

  • NLP Conference Calender Main conferences, journals, workshops and shared tasks in NLP community.

  • 2017 第一届“讯飞杯”中文机器阅读理解评测

  • 2017 AI-Challenger 图像中文描述 用一句话描述给定图像中的主要信息,挑战中文语境下的图像理解问题。

  • 2017 AI-Challenger 英中机器文本翻译 用大规模的数据,提升英中文本机器翻译模型的能力。

  • 2017 知乎看山杯机器学习挑战赛 根据知乎给出的问题及话题标签的绑定关系的训练数据,训练出对未标注数据自动标注的模型。

  • 2018 开放领域的中文问答任务 对于给定的一句中文问题,问答系统从给定知识库中选择若干实体或属性值作为该问题的答案。

  • 2018 微众银行智能客服问句匹配大赛 针对中文的真实客服语料,进行问句意图匹配;给定两个语句,判定两者意图是否相近。



Industry 中文NLP商业服务

  • 百度云NLP 提供业界领先的自然语言处理技术,提供优质文本处理及理解技术

  • 阿里云NLP 为各类企业及开发者提供的用于文本分析及挖掘的核心工具

  • 腾讯云NLP 基于并行计算、分布式爬虫系统,结合独特的语义分析技术,一站满足NLP、转码、抽取、数据抓取等需求

  • 讯飞开放平台 以语音交互为核心的人工智能开放平台

  • 搜狗实验室 分词和词性标注

  • 玻森数据 上海玻森数据科技有限公司,专注中文语义分析技术

  • 云孚科技 NLP工具包、知识图谱、文本挖掘、对话系统、舆情分析等

  • 智言科技 专注于深度学习和知识图谱技术突破的人工智能公司

  • 追一科技 主攻深度学习和自然语言处理

Learning Materials 学习资料

  • 中文Deep Learning Book

  • Stanford CS224n Natural Language Processing with Deep Learning 2017

  • Oxford CS DeepNLP 2017

  • [Course materials for Georgia Tech CS 4650 and 7650, "Natural Language"] (https://github.com/jacobeisenstein/gt-nlp-class)

  • Speech and Language Processing by Dan Jurafsky and James H. Martin

  • 52nlp 我爱自然语言处理

  • hankcs 码农场

  • 文本处理实践课资料 文本处理实践课资料,包含文本特征提取(TF-IDF),文本分类,文本聚类,word2vec训练词向量及同义词词林中文词语相似度计算、文档自动摘要,信息抽取,情感分析与观点挖掘等实验。

  • nlp_tasks Natural Language Processing Tasks and Selected References


-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!500+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询《深度学习:算法到实战》课程,咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
17

相关内容

将一个汉字序列切分成一个一个单独的词,以达到电脑自动识别语句含义的效果。
小贴士
相关资讯
最全中文自然语言处理数据集、平台和工具整理
深度学习与NLP
28+阅读 · 2019年6月22日
TensorFlow 中文资源全集,学习路径推荐
专知
4+阅读 · 2019年5月18日
中文NLP福利!大规模中文自然语言处理语料
新智元
35+阅读 · 2019年2月13日
【推荐】自然语言处理(NLP)指南
机器学习研究会
33+阅读 · 2017年11月17日
自然语言处理 (NLP)资源大全
机械鸡
35+阅读 · 2017年9月17日
相关VIP内容
专知会员服务
85+阅读 · 2020年6月2日
专知会员服务
138+阅读 · 2020年4月26日
专知会员服务
68+阅读 · 2019年12月24日
【强化学习资源集合】Awesome Reinforcement Learning
专知会员服务
51+阅读 · 2019年12月23日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
61+阅读 · 2019年10月16日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
157+阅读 · 2019年10月12日
学习自然语言处理路线图
专知会员服务
67+阅读 · 2019年9月24日
相关论文
Joost Verbraeken,Matthijs Wolting,Jonathan Katzy,Jeroen Kloppenburg,Tim Verbelen,Jan S. Rellermeyer
29+阅读 · 2019年12月20日
Yiming Cui,Wanxiang Che,Ting Liu,Bing Qin,Ziqing Yang,Shijin Wang,Guoping Hu
11+阅读 · 2019年6月19日
Bang Liu,Weidong Guo,Di Niu,Chaoyue Wang,Shunnan Xu,Jinghong Lin,Kunfeng Lai,Yu Xu
6+阅读 · 2019年5月21日
Jindou Wu,Yunlun Yang,Chao Deng,Hongyi Tang,Bingning Wang,Haoze Sun,Ting Yao,Qi Zhang
6+阅读 · 2019年3月28日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Soumya Wadhwa,Khyathi Raghavi Chandu,Eric Nyberg
6+阅读 · 2018年6月18日
Yue Zhang,Jie Yang
13+阅读 · 2018年5月15日
Mahsa Sadat Shahshahani,Mahdi Mohseni,Azadeh Shakery,Heshaam Faili
5+阅读 · 2018年1月30日
Yixing Fan,Liang Pang,JianPeng Hou,Jiafeng Guo,Yanyan Lan,Xueqi Cheng
5+阅读 · 2017年7月23日
Top