Tensorflow实战系列：手把手教你使用LSTM进行文本分类（附完整代码）- 专知

Tensorflow实战系列：手把手教你使用LSTM进行文本分类（附完整代码）

【导读】专知小组计划近期推出Tensorflow实战系列，计划教大家手把手实战各项子任务。本教程旨在手把手教大家使用Tensorflow构建LSTM进行文本分类。教程使用了伪造的文本数据进行情感分类，有正面情感数据和负面情感数据。并且教程代码包含了配置信息，将数据处理为LSTM的输入格式，以及定义和训练相关代码，因此希望在日常项目中使用Tensorflow的朋友可以参考这篇教程。

专知公众号以前连载关于Tensorflow1.4.0的系列教程：

最新TensorFlow1.4.0教程完整版

Tensorflow实战系列：手把手教你使用CNN进行图像分类（附完整代码）

▌简介

本文主要内容包括

• 如何将文本处理为Tensorflow LSTM的输入

• 如何定义LSTM

• 用训练好的LSTM进行文本分类

虽然本文描述的是文本分类任务，但对于一些简单的信号分类依然适用。对于信号分类，有一点区别需要注意。本文代码的文本数据输入是2维数组（样本数 x 句子长度），在进入LSTM之前，会根据第二个维度（每个词的索引）将其替换为词向量，因此LSTM的输入是3维向量（样本数 x 句子长度 x 词向量维度）。对于一般的信号数据，输入RNN的数据为[样本数，时序长度，特征维度]。但一些拿到的信号数据格式可能是[样本数，时序长度]，这是因为特征维度为1，按照2维数组简写了。在将这种特征输入RNN之前，要加上一个维度，对其输入格式。

另外，为了简化教程，这里没有做训练和测试数据集分离了。

▌代码

导入相关库

#coding=utf-8
import tensorflow as tf
from tensorflow.contrib import learn
import numpy as np
from tensorflow.python.ops.rnn import static_rnn
from tensorflow.python.ops.rnn_cell_impl import BasicLSTMCell

数据

这里用伪造的文本数据进行情感分类，有正面情感数据和负面情感数据。

# 数据
positive_texts = [
    "我 今天 很 高兴",
    "我 很 开心",
    "他 很 高兴",
    "他 很 开心"
]
negative_texts = [
    "我 不 高兴",
    "我 不 开心",
    "他 今天 不 高兴",
    "他 不 开心"
]

label_name_dict = {
    0: "正面情感",
    1: "负面情感"
}

配置信息

词向量维度为50。

▌配置信息

embedding_size = 50
num_classes = 2
将文本和label数值化
# 将文本和label数值化
all_texts = positive_texts + negative_texts
labels = [0] * len(positive_texts) + [1] * len(negative_texts)

max_document_length = 4
vocab_processor = learn.preprocessing.VocabularyProcessor(max_document_length)

datas = np.array(list(vocab_processor.fit_transform(all_texts)))
vocab_size = len(vocab_processor.vocabulary_)

定义placeholder(容器)，存放输入输出

如果不是文本，而是自己定义的数据（如信号数据），可能需要定义3维的容器。

# 容器，存放输入输出
datas_placeholder = tf.placeholder(tf.int32, [None, max_document_length])
labels_placeholder = tf.placeholder(tf.int32, [None])

词向量处理

构建一个随机的词向量矩阵，它会随着训练而获得适合任务的词向量。

# 词向量表
embeddings = tf.get_variable("embeddings", [vocab_size, embedding_size], initializer=tf.truncated_normal_initializer)

# 将词索引号转换为词向量[None, max_document_length] => [None, max_document_length, embedding_size]
embedded = tf.nn.embedding_lookup(embeddings, datas_placeholder)

▌将数据处理为LSTM的输入格式

# 转换为LSTM的输入格式，要求是数组，数组的每个元素代表某个时间戳一个Batch的数据
rnn_input = tf.unstack(embedded, max_document_length, axis=1)

▌定义LSTM

定义LSTM需要用到两个组件BasicLSTMCell和static_rnn。

# 定义LSTM
lstm_cell = BasicLSTMCell(20, forget_bias=1.0)
rnn_outputs, rnn_states = static_rnn(lstm_cell, rnn_input, dtype=tf.float32)

#利用LSTM最后的输出进行预测
logits = tf.layers.dense(rnn_outputs[-1], num_classes)

predicted_labels = tf.argmax(logits, axis=1)

▌定义损失和优化器

# 定义损失和优化器
losses= tf.nn.softmax_cross_entropy_with_logits(
    labels=tf.one_hot(labels_placeholder, num_classes),
    logits=logits
)

mean_loss = tf.reduce_mean(losses)
optimizer = tf.train.AdamOptimizer(learning_rate=1e-2).minimize(mean_loss)

▌执行

with tf.Session() as sess:
    # 初始化变量
    sess.run(tf.global_variables_initializer())

▌训练

# 定义要填充的数据
feed_dict = {
    datas_placeholder: datas,
    labels_placeholder: labels
}

print("开始训练")
for step in range(100):
    _, mean_loss_val = sess.run([optimizer, mean_loss], feed_dict=feed_dict)

    if step % 10 == 0:
        print("step = {}\tmean loss = {}".format(step, mean_loss_val))

▌预测

print("训练结束，进行预测")
predicted_labels_val = sess.run(predicted_labels, feed_dict=feed_dict)
for i, text in enumerate(all_texts):
    label = predicted_labels_val[i]
    label_name = label_name_dict[label]
    print("{} => {}".format(text, label_name))