词法分析精华

词法分析（英语：lexical analysis）是计算机科学中将字符序列转换为单词（Token）序列的过程。词法分析（lexical analysis）包括汉语分词和词性标注两部分。和大部分西方语言不同，汉语书面语词语之间没有明显的空格标记，文本中的句子以字串的形式出现。因此汉语自然语言处理的首要工作就是要将输入的字串切分为单独的词语，然后在此基础上进行其他更高级的分析，这一步骤称为分词（word segmentation 或tokenization）。除了分词，词性标注也通常认为是词法分析的一部分。给定一个切好词的句子，词性标注的目的是为每一个词赋予一个类别，这个类别称为词性标记（part-of-speech tag），比如，名词（noun）、动词（verb）、形容词（adjective）等。

zhihu.com/lives
- https://www.zhihu.com/lives
从零开始实现数据库系统(5)——SQL解析
- https://zhuanlan.zhihu.com/p/31879097
长难句分析：[by so agreeing]
- https://zhuanlan.zhihu.com/p/28259275
Data Science with R&Python
- https://zhuanlan.zhihu.com/rdatamining?topic=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90
基于R语言的唐僧“师徒关系”分析（词向量分析）
- https://zhuanlan.zhihu.com/p/33010506
中文方面比较好的依存句法分析工具有哪些？ - 知乎
- https://www.zhihu.com/question/21641569
听力瓶颈分析-实例分析（原创）
- https://zhuanlan.zhihu.com/p/21325225
【译文】 100000个故事的情节分析:一个简单案例
- https://zhuanlan.zhihu.com/p/26626341
托福写作考到30分是什么样的体验？ - 知乎
- https://www.zhihu.com/question/34577682
1 人赞了 FoolNLTK...
- https://zhuanlan.zhihu.com/p/32239563/voters
应该如何理解“上下文无关文法”？ - 知乎
- https://www.zhihu.com/question/21833944/answer/19467423
Python实现基于词典的文本情感分析 | 王敏的博客
- https://ynuwm.github.io/2017/05/15/Python%E5%AE%9E%E7%8E%B0%E5%9F%BA%E4%BA%8E%E8%AF%8D%E5%85%B8%E7%9A%84%E6%83%85%E6%84%9F%E5%88%86%E6%9E%90/
静态分析简述 // Neurohazard
- http://blkstone.github.io/2017/01/11/static-analysis/
情感分析的新方法 | f(x)
- https://flystarhe.github.io/2016/09/08/nlp-sentiment-new/
2.1 Main Process
- https://smilekevinsovi.github.io/julyhou24/hive/spark/2016/08/30/Hive-SparkSQL-From-SQL-To-Operator.html
深度学习（三十一）——依存分析, Image Caption Generation
- http://antkillerfarm.github.io/dl/2018/01/17/Deep_Learning_31.html
Similarity by shibing624
- https://shibing624.github.io/similarity/
fastText 源码分析 - Helei's Tech Notes
- https://heleifz.github.io/14732610572844.html
时间序列异常检测算法研究？ - 知乎
- https://www.zhihu.com/question/47070186
Lexical Analysis
- http://anoopsarkar.github.io/compilers-class/assets/lectures/lex4-regexps-as-automata.pdf

展开全文

参考链接

父主题

自然语言处理基础研究

微信扫码咨询专知VIP会员

Top