复旦NLP实验室NLP上手教程

2019 年 5 月 20 日 AINLP

推荐复旦NLP实验室NLP上手教程,点击阅读原文可以直达:


https://github.com/FudanNLP/nlp-beginner


来自邱锡鹏老师回答:


更推荐邱老师的开源书籍:神经网络与深度学习

链接:https://nndl.github.io/


以下来自该 /nlp-beginner:


新加入本实验室的同学,请按要求完成下面练习,并提交报告。

请完成每次练习后把report上传到QQ群中的共享文件夹中的“Reports of nlp-beginner”目录,文件命名格式为“task 1+姓名”。

参考:

  1. 深度学习上手指南

  2. 神经网络与深度学习

  3. 不懂问google

任务一:基于机器学习的文本分类

实现基于logistic/softmax regression的文本分类

  1. 参考

    1. 文本分类

    2. 神经网络与深度学习》 第2/3章

  2. 数据集:Classify the sentiment of sentences from the Rotten Tomatoes dataset

  3. 实现要求:NumPy

  4. 需要了解的知识点:

    1. 文本特征表示:Bag-of-Word,N-gram

    2. 分类器:logistic/softmax regression,损失函数、(随机)梯度下降、特征选择

    3. 数据集:训练集/验证集/测试集的划分

  5. 实验:

    1. 分析不同的特征、损失函数、学习率对最终分类性能的影响

    2. shuffle 、batch、mini-batch

  6. 时间:两周

任务二:基于深度学习的文本分类

熟悉Pytorch,用Pytorch重写《任务一》,实现CNN、RNN的文本分类;

  1. 参考

    1. https://pytorch.org/

    2. Convolutional Neural Networks for Sentence Classification https://arxiv.org/abs/1408.5882

    3. https://machinelearningmastery.com/sequence-classification-lstm-recurrent-neural-networks-python-keras/

  2. word embedding 的方式初始化

  3. 随机embedding的初始化方式

  4. 用glove 预训练的embedding进行初始化 https://nlp.stanford.edu/projects/glove/

  5. 知识点:

    1. CNN/RNN的特征抽取

    2. 词嵌入

    3. Dropout

  6. 时间:两周

任务三:基于注意力机制的文本匹配

输入两个句子判断,判断它们之间的关系。参考ESIM(可以只用LSTM,忽略Tree-LSTM),用双向的注意力机制实现。

  1. 参考

    1. 神经网络与深度学习》 第7章

    2. Reasoning about Entailment with Neural Attention https://arxiv.org/pdf/1509.06664v1.pdf

    3. Enhanced LSTM for Natural Language Inference https://arxiv.org/pdf/1609.06038v3.pdf

  2. 数据集:https://nlp.stanford.edu/projects/snli/

  3. 实现要求:Pytorch

  4. 知识点:

    1. 注意力机制

    2. token2token attetnion

  5. 时间:两周

任务四:基于LSTM+CRF的序列标注

用LSTM+CRF来训练序列标注模型:以Named Entity Recognition为例。

  1. 参考

    1. 神经网络与深度学习》 第6、11章

    2. https://arxiv.org/pdf/1603.01354.pdf

    3. https://arxiv.org/pdf/1603.01360.pdf

  2. 数据集:CONLL 2003,https://www.clips.uantwerpen.be/conll2003/ner/

  3. 实现要求:Pytorch

  4. 知识点:

    1. 评价指标:precision、recall、F1

    2. 无向图模型、CRF

  5. 时间:两周

任务五:基于神经网络的语言模型

用LSTM、GRU来训练字符级的语言模型,计算困惑度

  1. 参考

    1. 神经网络与深度学习》 第6、15章

  2. 数据集:poetryFromTang.txt

  3. 实现要求:Pytorch

  4. 知识点:

    1. 语言模型:困惑度等

    2. 文本生成

  5. 时间:两周


登录查看更多
2

相关内容

NLP:自然语言处理
还在修改博士论文?这份《博士论文写作技巧》为你指南
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
212+阅读 · 2020年4月26日
NLP基础任务:文本分类近年发展汇总,68页超详细解析
专知会员服务
57+阅读 · 2020年1月3日
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
117+阅读 · 2019年9月24日
下载 | 最全中文文本分类模型库,上手即用
机器学习算法与Python学习
30+阅读 · 2019年10月17日
一文读懂深度学习文本分类方法
AINLP
15+阅读 · 2019年6月6日
【资源推荐】复旦大学NLP上手教程
专知
41+阅读 · 2019年5月15日
NLP - 基于 BERT 的中文命名实体识别(NER)
AINLP
466+阅读 · 2019年2月10日
NLP - 15 分钟搭建中文文本分类模型
AINLP
79+阅读 · 2019年1月29日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Arxiv
11+阅读 · 2019年6月19日
Arxiv
8+阅读 · 2019年3月21日
Arxiv
14+阅读 · 2018年5月15日
VIP会员
相关资讯
下载 | 最全中文文本分类模型库,上手即用
机器学习算法与Python学习
30+阅读 · 2019年10月17日
一文读懂深度学习文本分类方法
AINLP
15+阅读 · 2019年6月6日
【资源推荐】复旦大学NLP上手教程
专知
41+阅读 · 2019年5月15日
NLP - 基于 BERT 的中文命名实体识别(NER)
AINLP
466+阅读 · 2019年2月10日
NLP - 15 分钟搭建中文文本分类模型
AINLP
79+阅读 · 2019年1月29日
相关论文
Top
微信扫码咨询专知VIP会员