自然语言理解太难了之中文分词八级测试

前几天在微博看到了一个例子：无线电法国别研究

赶紧用AINLP公众号后台的中文分词和词性标注测试功能试了一下八款中文分词（词性标注）工具或者模块：

结果如预期一样，大部分中文分词工具翻车了，不过这个例子别说对于中文分词工具，即使人工分词也需要反应一下。这也让我想起了之前转载的杨洋同学整理，刘群老师在微博上发起的#自然语言理解太难了#话题：NLP is hard! 自然语言处理太难了系列

这里基于这个系列以及记录的一些有意思的测试case做个整理，感兴趣的同学可以试试：

来到杨过曾经生活过的地方，小龙女动情地说：“我也想过过过儿过过的生活。”

来到儿子等校车的地方，邓超对孙俪说：“我也想等等等等等过的那辆车。”

赵敏说：我也想控忌忌己不想无忌。

你也想犯范范范玮琪犯过的错吗

对叙打击是一次性行为？

《绿林俊杰》--林俊杰做错了什么？为什么要绿他

一位友好的哥谭市民

校长说衣服上除了校徽别别别的

过几天天天天气不好

看见西门吹雪点上了灯，叶孤城冷笑着说：“我也想吹吹吹雪吹过的灯”，然后就吹灭了灯。

今天多得谢逊出手相救，在这里我想真心感谢“谢谢谢逊大侠出手”

灭霸把美队按在地上一边摩擦一边给他洗脑，被打残的钢铁侠说：灭霸爸爸叭叭叭叭儿的在那叭叭啥呢

姑姑你估估我鼓鼓的口袋里有多少谷和菇！！

“你看到王刚了吗”“王刚刚刚刚走”

张杰陪俩女儿跳格子：俏俏我们不要跳跳跳跳过的格子啦

骑车出门差点摔跤，还好我一把把把把住了

我朋友问父亲：我大大大（大大爷）和我姑姑谁年龄大？朋友爸爸说：你大大大大！

我背有点驼，麻麻说“你的背得背背背背佳

南京市长江大桥

质量和服务一样重要

他正在量和服尺寸

黑化肥挥发会发灰

沿海南方向逃跑

我不懂你不懂什么

北京大学生前来应聘

我也想过过过儿过过的生活

孙悟空着肚子去上海洋人防工程的课

结婚的和尚未结婚的

结婚的和尚未结婚的都成了和尚

这个把手该换了

我一把把把儿把住了

他一把把把把住了

骑车差点摔倒， 好在我一把把把把住了

办事处女干事这个月经过了考核

我也想等等等等等过的那辆车。

胖胖的胖胖不想再胖胖

你家的地得扫了，还不得加把劲

平仄平仄平平仄

我没什没意思就是意思意思

我吃了饭了钱我给你

小刚刚刚刚来过

上海自来水来自海上

一个研究生命令我感到非常不满意

四是四十是十十四是十四四十是四十

你知不知道我不知道你知道我是谁

黑化黑灰化肥黑灰会挥发发灰黑化肥黑灰化肥挥发

红鲤鱼绿鲤鱼与驴

你开完会吃还是开会的时候吃还是开之前吃呢

我研究生期间是研究生物的

我在车上看桥下看桥上风景的狗的人

我爸是我爸，我是我爸儿

我没有上上上上海的火车

我差点没赶上上上海的车

让你别别别别，非得别

沿海南方向逃跑

研究生活水平

只顾顾顾老师来了

我为人人人人为我

他将来上海学习

这幅画画了个画画画的好的人

我想梦梦梦梦过的梦

叫你别别这个钥匙你非得别一别就别坏了

下雨天留客天留我不留

人要是行，干一行行一行，一行行行行行，行行行干哪行都行。

碳碳链键能能量量化化学

尿尿尿不出尿来三天

无线电法国别研究

=================================

最后欢迎大家补充、测试。