近几年来,深度学习驱动人工智能在各大行业中的应用。现在,全球人工智能学院从四个维度带你了解关于深度学习与NLP在2017年有哪些新趋势(下文有福利)。
趋势一:语言结构的回归
最近深度学习的复兴强调了 NLP 的简单统一范式:语言只是单词的序列。依据这一逻辑任何更进一步的结构都是没有必要的,只需要简单的训练出一个 RNR 端对端, 随机梯度在下降过程中就会找出其余的。虽然这种方法广为接受并相当成功(主要是由于不需要特征工程的便利性),但其局限性也愈发明显。在 ACL 2017 中,几位卓越的学者强烈反对语言只是序列的论断,并且提出了既有实践性又有原则性的理论。
趋势二:重新考虑词嵌入
今年标题中出现「词嵌入」的论文数量从 10 个下降到了 4 个,一部分原因可能是向子词层级表征的转变带来的。尽管如此,词嵌入仍然是一项标准的技术,也许正是因为词嵌入已经通过「炒作」阶段进入「周到的审查」阶段,今年 ACL 的相关文章都非常有趣。
趋势三: 解释性
在深度学习从业者中很多人并不觉得孤单,神经网络可怕的「黑箱」使其难以控制和调试,因此难以发展。然而,从非研究者的观点来看,要求可解释性有更重要的原因:信任。
趋势四:注意力
大家普遍认为注意力机制是序列到序列模型的规则改变者,正迅速成为最受欢迎的技术。原因显而易见:它可以绕过信息流中的瓶颈,实现无法通过前馈层实现的键值查找功能,还能提供一些非常必要的解释性信息。注意力机制在今年的 ACL 中比重有所增加,15% 的论文标题带有「注意力」(上年是 9%)。
下文划重点!
全球人工智能学院开班了!
全球人工智能学院开班了!
全球人工智能学院开班了!
重要的事要说三遍。
高民权:蚂蚁金服 算法高级工程师
毕业于浙江大学,长期活跃在NLP及机器学习相关领域。主要研究方向为图算法、机器学习和深度学习,并行计算及自然语言处理。目前是蚂蚁金服金融反洗钱小组担任机器学习算法高级工程师, 主要从事Deep Learning与NLP相关的工作。
1. 目前中国人工智能人才需求量约500万,目前仅有5万相关人才,刚毕业的应届生工资均在30万以上,深度学习与NLP人才更是稀缺。
2.本课程主要针对想进入AI领域的零基础人群设计,内容覆盖监督学习,非监督学习,神经网络的原理,CNN(卷积网络)的原理及应用,RNN(循环网络)的原理及应用。
3.目标是让学员从原理到方法再到实践,掌握深度学习在自然语言上的应用。
第一章:课程导论
1.1课程导论
第二章:人工智能的背景
2.1人工智能的背景
第三章:word2vec
3.1 Word2Vec的提出背景
3.2 Word2Vec 的基本原理
3.3 Word2Vec 的高特特性
3.4 Word2Vec的应用扩展(关联词汇发现,新词发现)
3.5句子Embedding的方法
第四章:神经网络及其应用
4.1机器学习概率
4.2 神经网络的基本原理及变体
4.3神经网络区别于其他及机器学习模型的特点
4.4 神经网络的构造[手写一个tensorflow]
4.5 利用神经网络+word2vec进行文本分类实例
第五章:RNN及其应用
5.1RNN的提出背景及基本原理
5.2RNN的变体:LSTM,GRU
5.3RNN及其变体在tensorflow中的应用实例01
5.4RNN及其变体在tensorflow中的应用实例02
5.5使用RNN进行文本分类-1
5.6使用RNN进行文本分类-2
5.7使用RNN进行实体识别-1
5.8使用RNN进行实体识别-2
5.9使用RNN生成文本
第六章:CNN及其应用
6.1CNN的原理
6.2CNN的使用实践
6.3使用CNN进行句子Embedding
6.4CNN进行情感分类tensorflow实例-1
6.5CNN进行情感分类tensorflow实例-2
报名咨询请添加微信号:kellyhyw
或扫描下方二维码
↓↓↓ 点击阅读原文【看课程详情】