从 500 万条的微博语料对鹿晗、关晓彤微博的热门评论进行情感分析

2017 年 10 月 14 日 CSDN 布道

点击上方“CSDN”，选择“置顶公众号”

关键时刻，第一时间送达！

最近身边的人都在谈论一件事：10月8日中午的一条微博，引发了一场微博的轩然大波。导致微博瘫痪的原因是全球超人气偶像明星鹿晗发了一条“大家好，给大家介绍一下，这是我女朋友@关晓彤”。这条微博并@关晓彤。数据分析，可以在这里（https://wfx.51wyq.cn/share/view/j3qLuwlKZ1mDoQBJa）自取！

截止目前，鹿晗的这条微博已经被转发1024887，回复2649409，点赞5173532。

关晓彤的这条微博转发67652，回复873532，点赞：2260400。

这么庞大的数据量相当上亿的“肉鸡”（粉们和吃瓜群众）对微博的一次“攻击”。

难怪微博工程师要一边结婚一边工作，都是鹿晗这条微博惹的祸。最后加了1000台服务器暂时顶住了。

这条微博评论非常的多了，大家对这件事态度怎么样？我们利用数据来分析一下。

原料：

鹿晗微博3万条评论；
关晓彤微博3万条评论；
500万微博语料，下载地址（https://pan.baidu.com/share/init?surl=eSeXh5K），密码：tvdo

工具：

Python3.6
SnowNLP（https://github.com/isnowfy/snownlp可方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己(不是本人)实现的，并且自带了一些训练好的字典。）
WordCloud，词云。

实施过程：

1. 对微博语料进行情感分类，可以基于原有SnowNLP进行积极和消极情感分类：积极情绪类：pos.txt和消极情绪类：neg.txt 然后进行训练：

from snownlp import sentiment

sentiment.train('neg.txt', 'pos.txt')

sentiment.save('sentiment.marshal')

在snownlp/sentiment/init.py中第11行改到你训练的文件。

2.爬取两人的微博数据，使用http://m.weibo.com，解决懒加载问题，具体方式不在赘述，google 一下吧。

a. 微博提供了接口地址，微博提供API 地址，通过接口返回标准的json数据

{

"comments": [

{

"created_at": "Wed Jun 01 00:50:25 +0800 2011",

"id": 12438492184,

"text": "love your work.......",

"source": "<a href="http://weibo.com" rel="nofollow">新浪微博</a>",

"mid": "202110601896455629",

"user": {

"id": 1404376560,

"screen_name": "zaku",

"name": "zaku",

"province": "11",

"city": "5",

"location": "北京朝阳区",

"description": "人生五十年，乃如梦如幻；有生斯有死，壮士复何憾。",

"url": "http://blog.sina.com.cn/zaku",

"profile_image_url": "http://tp1.sinaimg.cn/1404376560/50/0/1",

"domain": "zaku",

"gender": "m",

"followers_count": 1204,

"friends_count": 447,

"statuses_count": 2908,

"favourites_count": 0,

"created_at": "Fri Aug 28 00:00:00 +0800 2009",

"following": false,

"allow_all_act_msg": false,

"remark": "",

"geo_enabled": true,

"verified": false,

"allow_all_comment": true,

"avatar_large": "http://tp1.sinaimg.cn/1404376560/180/0/1",

"verified_reason": "",

"follow_me": false,

"online_status": 0,

"bi_followers_count": 215

},

"status": {

"created_at": "Tue May 31 17:46:55 +0800 2011",

"id": 11488058246,

"text": "求关注。"，

"source": "<a href="http://weibo.com" rel="nofollow">新浪微博</a>",

"favorited": false,

"truncated": false,

"in_reply_to_status_id": "",

"in_reply_to_user_id": "",

"in_reply_to_screen_name": "",

"geo": null,

"mid": "5612814510546515491",

"reposts_count": 8,

"comments_count": 9,

"annotations": [],

"user": {

"id": 1404376560,

"screen_name": "zaku",

"name": "zaku",

"province": "11",

"city": "5",

"location": "北京朝阳区",

"description": "人生五十年，乃如梦如幻；有生斯有死，壮士复何憾。",

"url": "http://blog.sina.com.cn/zaku",

"profile_image_url": "http://tp1.sinaimg.cn/1404376560/50/0/1",

"domain": "zaku",

"gender": "m",

"followers_count": 1204,

"friends_count": 447,

"statuses_count": 2908,

"favourites_count": 0,

"created_at": "Fri Aug 28 00:00:00 +0800 2009",

"following": false,

"allow_all_act_msg": false,

"remark": "",

"geo_enabled": true,

"verified": false,

"allow_all_comment": true,

"avatar_large": "http://tp1.sinaimg.cn/1404376560/180/0/1",

"verified_reason": "",

"follow_me": false,

"online_status": 0,

"bi_followers_count": 215

}

}

},

...

],

"previous_cursor": 0,

"next_cursor": 0,

"total_number": 7

}

目前微博没有要求登录（可能是bug哦），建议sleep一下，否则很容易被微博大厂识别为爬虫行为二被封堵；b．数据存储，python很方便，可以存储在文本，mysql等数据库中。但是微博大厂在接口返回数据中会返回一些重复的和一些空数据，所以这部分需要处理一下。建议放在数据库中，去重和清理空的数据非常方便。可以使用sql进行处理：

去重复内容：

DELETE from 表名 where id not in (select minid from (select min(id) as minid from 表名 group by 字段) b);

去值为NULL：

delete from 表名 where 字段名=NULL

去值为""空值

delete from 表名 where 字段名=''

3. 情感分析：