词法分析（英语：lexical analysis）是计算机科学中将字符序列转换为单词（Token）序列的过程。
词法分析（lexical analysis）包括汉语分词和词性标注两部分。和大部分西方语言不同，汉语书面语词语之间没有明显的空格标记，文本中的句子以字串的形式出现。
因此汉语自然语言处理的首要工作就是要将输入的字串切分为单独的词语，然后在此基础上进行其他更高级的分析，这一步骤称为分词（word segmentation 或tokenization）。除了
分词，词性标注也通常认为是词法分析的一部分。给定一个切好词的句子，词性标注的目的是为每一个词赋予一个类别，这个类别称为词性标记（part-of-speech tag），比如，名词（noun）、动词（verb）、形容词（adjective）等。
Arxiv
0+阅读 · 2022年8月18日
Arxiv
0+阅读 · 2022年8月16日
Arxiv
1+阅读 · 2022年4月1日
Arxiv
0+阅读 · 2021年4月29日
微信扫码咨询专知VIP会员