Github 项目推荐 | PyTorch 文本工具库/数据集

2018 年 4 月 11 日 AI研习社 孔令双

PyTorch-NLP，简称 torchnlp，是一个神经网络层、文本处理模块和数据集库，旨在加速自然语言处理的研究。

有兴趣加入该社区的开发者可以在 Gitter（https://gitter.im/PyTorch-NLP/Lobby）和 Google Group（https://groups.google.com/forum/#!forum/pytorch-nlp）上跟作者交流。

Github 地址：

https://github.com/PetrochukM/PyTorch-NLP

安装

先确保你已经安装好了 Python 3.5+ 、PyTorch 0.2.0 或者更新的版本，你可以通过 pip 来安装 pytorch-nlp：

pip install pytorch-nlp

文档

完整文档地址如下：

https://pytorchnlp.readthedocs.io/

加载数据集

（http://pytorchnlp.readthedocs.io/en/latest/source/torchnlp.datasets.html）

举例，加载 IMDB 数据集：

from torchnlp.datasets import imdb_dataset

# Load the imdb training dataset
train = imdb_dataset(train=True)
train[0]  # RETURNS: {'text': 'For a movie that gets..', 'sentiment': 'pos'}

应用神经网络层：

（http://pytorchnlp.readthedocs.io/en/latest/source/torchnlp.nn.html）

例如，从神经网络包中，应用一个简单循环单元（SRU）：

from torchnlp.nn import SRU
import torch

input_ = torch.autograd.Variable(torch.randn(6, 3, 10))
sru = SRU(10, 20)

# Apply a Simple Recurrent Unit to `input_`
sru(input_)
# RETURNS: (
#   output [torch.FloatTensor (6x3x20)], 
#   hidden_state [torch.FloatTensor (2x3x20)]
# )

Encode Text

（http://pytorchnlp.readthedocs.io/en/latest/source/torchnlp.text_encoders.html）

WhitespaceEncoder 在遇到空白字符时将文本分解为条目：

from torchnlp.text_encoders import WhitespaceEncoder

# Create a `WhitespaceEncoder` with a corpus of text
encoder = WhitespaceEncoder(["now this ain't funny", "so don't you dare laugh"])

# Encode and decode phrases
encoder.encode("this ain't funny.") # RETURNS: torch.LongTensor([6, 7, 1])
encoder.decode(encoder.encode("This ain't funny.")) # RETURNS: "this ain't funny."

加载 Word Vectors

（http://pytorchnlp.readthedocs.io/en/latest/source/torchnlp.word_to_vector.html）

加载 FastText

from torchnlp.word_to_vector import FastText

vectors = FastText()
# Load vectors for any word as a `torch.FloatTensor`
vectors['hello']  # RETURNS: [torch.FloatTensor of size 100]

计算度量

http://pytorchnlp.readthedocs.io/en/latest/source/torchnlp.metrics.html

最后，计算通用指标，如 BLEU 分数。

from torchnlp.metrics import get_moses_multi_bleu

hypotheses = ["The brown fox jumps over the dog 笑"]
references = ["The quick brown fox jumps over the lazy dog 笑"]

# Compute BLEU score with the official BLEU perl script
get_moses_multi_bleu(hypotheses, references, lowercase=True)  # RETURNS: 47.9