NLP(自然语言处理)扫盲

2017 年 7 月 9 日 大数据和云计算技术 朱洁

最近在学NLP,给自己扫扫盲,看看NLP具体干什么,本文先学学概念,后面再深入。(不是很深入的文章,高手误入。)


自然语言处理(简称NLP),是研究计算机处理人类语言的一门技术,是人工智能(AI)的一个子领域,包括:


1.句法语义分析:对于给定的句子,进行分词、词性标记、命名实体识别和链接、句法分析、语义角色识别和多义词消歧。


2.信息抽取:从给定文本中抽取重要的信息,比如,时间、地点、人物、事件、原因、结果、数字、日期、货币、专有名词等等。通俗说来,就是要了解谁在什么时候、什么原因、对谁、做了什么事、有什么结果。涉及到实体识别、时间抽取、因果关系抽取等关键技术。


3.文本挖掘(或者文本数据挖掘):包括文本聚类、分类、信息抽取、摘要、情感分析以及对挖掘的信息和知识的可视化、交互式的表达界面。目前主流的技术都是基于统计机器学习的。


4.机器翻译:把输入的源语言文本通过自动翻译获得另外一种语言的文本。根据输入媒介不同,可以细分为文本翻译、语音翻译、手语翻译、图形翻译等。机器翻译从最早的基于规则的方法到二十年前的基于统计的方法,再到今天的基于神经网络(编码-解码)的方法,逐渐形成了一套比较严谨的方法体系。


5.信息检索:对大规模的文档进行索引。可简单对文档中的词汇,赋之以不同的权重来建立索引,也可利用1,2,3的技术来建立更加深层的索引。在查询的时候,对输入的查询表达式比如一个检索词或者一个句子进行分析,然后在索引里面查找匹配的候选文档,再根据一个排序机制把候选文档排序,最后输出排序得分最高的文档。


6.问答系统: 对一个自然语言表达的问题,由问答系统给出一个精准的答案。需要对自然语言查询语句进行某种程度的语义分析,包括实体链接、关系识别,形成逻辑表达式,然后到知识库中查找可能的候选答案并通过一个排序机制找出最佳的答案。


7.对话系统:系统通过一系列的对话,跟用户进行聊天、回答、完成某一项任务。涉及到用户意图理解、通用聊天引擎、问答引擎、对话管理等技术。此外,为了体现上下文相关,要具备多轮对话能力。同时,为了体现个性化,要开发用户画像以及基于用户画像的个性化回复。


随着深度学习在图像识别、语音识别领域的大放异彩,人们对深度学习在NLP的价值也寄予厚望。再加上AlphaGo的成功,人工智能的研究和应用变得炙手可热。自然语言处理作为人工智能领域的认知智能,成为目前大家关注的焦点。





为了方便大家相互交流学习,创建了一个公众号同名微信群:大数据和云计算技术交流群,欢迎大家加下面微信,我拉大家进群,自由交流。同时如果大家觉得对您有帮助,也欢迎大家打赏。:)


登录查看更多
20

相关内容

NLP:自然语言处理
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
208+阅读 · 2020年4月26日
专知会员服务
102+阅读 · 2020年3月12日
专知会员服务
197+阅读 · 2020年3月6日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
224+阅读 · 2019年10月12日
NLP命名实体识别开源实战教程 | 深度应用
AI100
15+阅读 · 2019年8月18日
中文自然语言处理入门实战
人工智能头条
14+阅读 · 2019年1月11日
自然语言处理NLP的坑到底有多大?
专知
45+阅读 · 2018年11月12日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
如何在NLP领域干成第一件事
AI100
6+阅读 · 2018年2月3日
干货 | 如何在NLP领域干成第一件事?
AI科技评论
5+阅读 · 2017年12月27日
如何在NLP领域干成第一件事?
AI研习社
13+阅读 · 2017年11月26日
【NLP】十分钟快览自然语言处理学习总结
专知
17+阅读 · 2017年11月21日
Arxiv
3+阅读 · 2019年9月5日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
11+阅读 · 2018年5月13日
Arxiv
10+阅读 · 2018年3月22日
VIP会员
相关VIP内容
深度学习自然语言处理概述,216页ppt,Jindřich Helcl
专知会员服务
208+阅读 · 2020年4月26日
专知会员服务
102+阅读 · 2020年3月12日
专知会员服务
197+阅读 · 2020年3月6日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
224+阅读 · 2019年10月12日
相关资讯
NLP命名实体识别开源实战教程 | 深度应用
AI100
15+阅读 · 2019年8月18日
中文自然语言处理入门实战
人工智能头条
14+阅读 · 2019年1月11日
自然语言处理NLP的坑到底有多大?
专知
45+阅读 · 2018年11月12日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
如何在NLP领域干成第一件事
AI100
6+阅读 · 2018年2月3日
干货 | 如何在NLP领域干成第一件事?
AI科技评论
5+阅读 · 2017年12月27日
如何在NLP领域干成第一件事?
AI研习社
13+阅读 · 2017年11月26日
【NLP】十分钟快览自然语言处理学习总结
专知
17+阅读 · 2017年11月21日
相关论文
Arxiv
3+阅读 · 2019年9月5日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
11+阅读 · 2018年5月13日
Arxiv
10+阅读 · 2018年3月22日
Top
微信扫码咨询专知VIP会员