Python自然语言处理工具NLTK学习导引及相关资料

NLTK 大概是最知名的Python自然语言处理工具了，全称"Natural Language Toolkit", 诞生于宾夕法尼亚大学，以研究和教学为目的而生，因此也特别适合入门学习。NLTK虽然主要面向英文，但是它的很多NLP模型或者模块是语言无关的，因此如果某种语言有了初步的Tokenization或者分词，NLTK的很多工具包是可以复用的。

关于NLTK，网上已经有了很多介绍资料，当然首推的NLTK学习资料依然是官方出的在线书籍 NLTK Book：Natural Language Processing with Python – Analyzing Text with the Natural Language Toolkit，目前基于Python 3 和 NLTK 3 ，可以在线免费阅读和学习。早期的时候还有一个基于Python 2 的老版本：http://www.nltk.org/book_1ed/ ，被 O'Reilly 正式出版过，2012年的时候，国内的陈涛同学无偿翻译过一个中文版，我还在这里推荐过：推荐《用Python进行自然语言处理》中文翻译-NLTK配套书，后来才有了基于此版本的更正式的中文翻译版：《Python自然语言处理》。不过如果英文ok的话，优先推荐看目前官方的最新版本：http://www.nltk.org/book/

几年前我尝试写英文博客，觉得可以从NLTK的入门介绍开始，所以写了一个英文系列：Dive into NLTK，基于Python 2，感兴趣的同学可以关注：

Part I: Getting Started with NLTK
Part II: Sentence Tokenize and Word Tokenize
Part III: Part-Of-Speech Tagging and POS Tagger
Part IV: Stemming and Lemmatization
Part V: Using Stanford Text Analysis Tools in Python
Part VI: Add Stanford Word Segmenter Interface for Python NLTK
Part VII: A Preliminary Study on Text Classification
Part VIII: Using External Maximum Entropy Modeling Libraries for Text Classification
Part IX: From Text Classification to Sentiment Analysis
Part X: Play With Word2Vec Models based on NLTK Corpus
Part XI: From Word2Vec to WordNet

这个过程中使用了NLTK中嵌入的斯坦福大学文本分析工具包，发现少了斯坦福中文分词器，所以当时动手加了一个：Python自然语言处理实践: 在NLTK中使用斯坦福中文分词器

斯坦福大学自然语言处理组是世界知名的NLP研究小组，他们提供了一系列开源的Java文本分析工具，包括分词器(Word Segmenter)，词性标注工具（Part-Of-Speech Tagger），命名实体识别工具（Named Entity Recognizer），句法分析器（Parser）等，可喜的事，他们还为这些工具训练了相应的中文模型，支持中文文本处理。在使用NLTK的过程中，发现当前版本的NLTK已经提供了相应的斯坦福文本处理工具接口，包括词性标注，命名实体识别和句法分析器的接口，不过可惜的是，没有提供分词器的接口。在google无果和阅读了相应的代码后，我决定照猫画虎为NLTK写一个斯坦福中文分词器接口，这样可以方便的在Python中调用斯坦福文本处理工具。

后来，这个版本在 NLTK 3.2 官方版本中被正式引入：stanford_segmenter.py ，我也可以小自豪一下为NLTK做过一点微小的贡献：

使用NLTK来处理中文是很多同学想干的事情，这方面，在NLTK中调用斯坦福大学的中文工具包刚好是一个切入点，关于NLTK中如何使用斯坦福大学工具包进行中文信息处理，推荐两篇文章：

在 NLTK 中使用 Stanford NLP 工具包 （http://www.zmonster.me/2016/06/08/use-stanford-nlp-package-in-nltk.html）

以及白宁超同学的系列文章：

干货！详述Python NLTK下如何使用stanford NLP工具包（http://www.cnblogs.com/baiboy/p/nltk1.html）

关于NLTK的书籍，其实还有一本很不错：Python Text Processing with NLTK 2.0 Cookbook ，我之前看过这本，不过现在已经更新到Python 3了：Python 3 Text Processing with NLTK 3 Cookbook 。最后提供一个NLTK相关资料的打包下载，包括早期的中文翻译版和这个Cookbook，仅供个人学习使用，感兴趣的同学可以关注我们的公众号: AINLP, 回复'NLTK'获取相关下载链接：