为了夸夸聊天机器人，爬了一份夸夸语料库

2019 年 3 月 19 日 AINLP

上周为了娱乐，写了一篇《一行Python代码实现夸夸聊天机器人》，虽然只有几十条人工整理的通用夸夸语料，但是貌似也能应付一些简单需求。不过这篇文章在微博、AINLP微信公众号、知乎专栏推送后，还是有很多同学强烈建议丰富语料库。这个建议其实是很不错的，所以周末认真调研了一番，决定从豆瓣上的夸夸小组入手，这里面有很多现成的语料，至于混进微信、QQ夸夸群，收集语料，我觉得不太现实。

豆瓣上有很多夸夸小组，貌似最大的莫过于“相互表扬小组”，最近因为这股夸夸风，据说这个小组已经开始限制加入新人了，我针对这个小组写了一个小爬虫，爬了一份夸夸语料，总计2万6千多个帖子，采集了标题、内容和回复的相关信息，保存为json格式，1个帖子1条，大概是这样的：

{"title": "因为没有男朋友，求夸", "url": "https://www.douban.com/group/topic/135844056/", "author": "71277500", "last_reply_time": "03-17 16:40", "content": "笨人原本一个人好好的，都单了两三年了，一直觉得挺开心的。最近不知道抽了什么风，突然特别想找个男朋友。但是但是，偏偏找不到靠谱的男朋友！现在一个人睡不着，没想明白这事，求夸。\n", "replies_num": "14", "replies": [{"content": "你这么可爱肯定会有一个很好很好的人在等你！", "post_id": "135844056", "comment_id": "1834208628", "user_id": "189783421", "pub_time": "2019-03-16 01:08:38"}, {"content": "最好的肯定要晚点出现哦", "post_id": "135844056", "comment_id": "1834208775", "user_id": "189783421", "pub_time": "2019-03-16 01:08:52"}, {"content": "“笨人”，刚看到开头就笑了", "post_id": "135844056", "comment_id": "1834282396", "user_id": "192799520", "pub_time": "2019-03-16 07:50:50"}, {"content": "一个好可耐的宝宝", "post_id": "135844056", "comment_id": "1834282931", "user_id": "192799520", "pub_time": "2019-03-16 07:52:24"}, {"content": "也许明天就出现了", "post_id": "135844056", "comment_id": "1834290527", "user_id": "185989534", "pub_time": "2019-03-16 08:11:38"}, {"content": "你知道有一个适合你的那个在等你吧", "post_id": "135844056", "comment_id": "1834308924", "user_id": "192597621", "pub_time": "2019-03-16 08:46:23"}, {"content": "如果没有男朋友，肯定是你太优秀", "post_id": "135844056", "comment_id": "1834313229", "user_id": "171520899", "pub_time": "2019-03-16 08:53:19"}, {"content": "没有男朋友多好，省钱", "post_id": "135844056", "comment_id": "1834320533", "user_id": "130379006", "pub_time": "2019-03-16 09:03:42"}, {"content": "哈哈，谢谢好可爱的你呀！", "post_id": "135844056", "comment_id": "1835717925", "user_id": "71277500", "pub_time": "2019-03-17 16:16:58"}, {"content": "有道理", "post_id": "135844056", "comment_id": "1835718260", "user_id": "71277500", "pub_time": "2019-03-17 16:17:22"}, {"content": "也许吧，哈哈哈", "post_id": "135844056", "comment_id": "1835718395", "user_id": "71277500", "pub_time": "2019-03-17 16:17:32"}, {"content": "原本想写本人，一不小心错别字，看样子还是很符合的", "post_id": "135844056", "comment_id": "1835719069", "user_id": "71277500", "pub_time": "2019-03-17 16:18:17"}, {"content": "没有，只是单纯地觉得很可爱，很符合你写一段话的文风……退一步讲，古人讲究谦辞，称呼自己要自谦，本人要说鄙人，你用“笨人”活泼可爱，也能称得上是一种自谦，还是你自创的，有趣", "post_id": "135844056", "comment_id": "1835734308", "user_id": "192799520", "pub_time": "2019-03-17 16:35:21"}, {"content": "哈哈，有道理，我懂了", "post_id": "135844056", "comment_id": "1835738373", "user_id": "71277500", "pub_time": "2019-03-17 16:40:00"}]}

写到这里，估计还是会有同学准备留言索要数据了，因为即使上次区区几十条语料，随便google一下就可以得到的“夸夸语料”都有同学留言索取，所以这里准备多说几句，关于夸夸聊天机器人，关于夸夸语料库。

上个周，在看到清华刘知远老师的评论后，我是用娱乐的心态写了上周的那篇文章：《一行Python代码实现夸夸聊天机器人》，没想到，反响还不错，甚至有一些同学提了很好的建议。所以当周末认真思考这件事的可行性时，突然觉得，夸夸聊天机器人是一个绝好的机器学习实践项目：仅从一个idea出发，怎样做一个不错的夸夸聊天机器人？

作为自然语言处理四大难题之一的自动问答，个人觉得目前还远远不够“智能”，虽然市面上有很多聊天机器人，但是观察来看，以娱乐的心态来对话是可以的，或者完成一些简单的任务是没有问题的，例如询问天气，但是如果抱着很高的期望，很多轮对话下来，基本可以认为这个聊天机器人“不靠谱”， “答非所问”，甚至是个“智障”。虽然通用领域的智能问答或者聊天机器人还有很长的路要走，但是如果把这个问题限定在垂直领域或者很小的需求范围，那么问题可能就有解了，例如夸夸聊天机器人，需求就很简单：做啥都夸。简单的就是随便夸，复杂一点或者个性化的就是夸某个点、某件事、某个人，前者吗，就是上次《一行Python代码实现夸夸聊天机器人》做得事情，准备一些通用夸奖的语料，然后随机夸；后者，需要准备一些夸夸规则和夸夸语料库。

开个玩笑，二十一世纪什么最贵？当然是数据了，确切的说，是面向特定任务的特定数据。现在不缺机器学习框架，不缺算法，不缺机器，甚至不缺“人”，缺什么，就缺数据。这段时间，因为夸夸群的兴起，很多人看到了商机，说不定哪一天你的老板把你找来，直接给扔给你一个任务：做一个夸夸聊天机器人？怎么办，当然要调研啦。花了大半天时间，你了解了聊天机器人的前世今生，发现了人工智能标记语言AIML，知道了Chatbot的种种玩法，基于规则的、基于机器学习模型的、基于知识图谱的等等等等，甚至还有很多智能问答开源框架可以直接套用，最后，当你兴高采烈的准备动手实践的时候，你突然发现，还没有数据，你需要数据，需要夸夸语料库。

万事俱备，只欠数据，怎么办，赶紧学一下爬虫知识吧，我一直推荐入门这行的同学从爬虫学起，不是让你以后做一个爬虫工程师，而是希望你可以从一线触摸数据，有数据sense，数据的重要性在未来只会越来越大。当然学习的方法有很多种，可以自学，可以跟学，可以买书，可以上课，最重要的是实践。所以这个时候，可以一边学习一边针对豆瓣的或者其他夸夸小组做定向爬虫，不过豆瓣的防爬措施也很厉害，稍不注意，你的ip就会被封了。当然，做爬虫就是一个斗智斗勇的过程，如果你需要系统的学习爬虫知识，这里推荐一门课程：Python爬虫工程师

仅仅有了夸夸数据还不够，还需要数据清洗和数据组织，种种准备工作之后，才可以尝试各种先进的智能问答方法和框架。当然，我这边还没有升级夸夸聊天机器人，还需要继续丰富语料库，还需要做很多工作才能进入到模型训练阶段，感兴趣的同学，可以继续等待。最后，提供500条夸夸语料库样本数据给感兴趣的同学，还是关注公众号AINLP，回复"kuakua"获取：