近7年上海天气数据抓取和分析（含代码）--分析部分

2017 年 10 月 25 日 数萃大数据 刘顺祥

前言

在近7年上海天气数据抓取和分析（含代码）—爬虫部分一文中我们介绍了如何使用R语言对天气网进行爬虫，抓取上海近7年的天气数据，相信大家按部就班的操作文章代码时，应该觉得用R语言爬虫很简单了吧。今天，我们接着抓取的天气数据，使用R语言中的ggplot2包对其进行探索性分析。

开始探索

一、数据处理

探索之前，我们再来看一下抓取下来的数据结构。

# 加载第三方包
library(lubridate)
library(dplyr)
library(ggplot)
library(gridExtra)

# 数据读取
tot_info <- read.csv('weather.csv')

# 数据结构查询
str(tot_info)

由于爬虫后获得的数据都是字符串，所以将weather数据集读入到R内，所有变量都成了因子型变量，为了下面的进一步分析，我们需要将数据集中的变量进行类型的转换。

# 日期类型转换
tot_info$date <- as.Date(tot_info$date)
# 数值类型转换
tot_info$low <- as.numeric(as.character(tot_info$low))
tot_info$high <- as.numeric(as.character(tot_info$high))

# 按照日期，升序排序
tot_info <- tot_info[order(tot_info$date), ]

# 数据结构查看
str(tot_info)

除此之外，我们还需要将日期数据进行拆分，拆分为年、月和日，同时将年月日转化为因子，除此还根据每天的最高温和最低温，计算温差。

# 拓展衍生变量
tot_info <- transform(tot_info, year = factor(year(date)), 
                      month = factor(month(date)), 
                      day = factor(day(date)),
                      diff = high - low)
head(tot_info)

二、数据探索

上海近7年的最高或最低温度的趋势如何？

# 近7年最高气温
p1 <- ggplot(data = tot_info, aes(x = date, y = high)) + 
  geom_line(colour = 'steelblue') + # 绘制线图
  scale_x_date(date_breaks = '6 months', date_labels = '%y-%m') # 设置x轴刻度标签

# 近7年最低气温
p2 <- ggplot(data = tot_info, aes(x = date, y = low)) + 
  geom_line(colour = 'steelblue') + 
  scale_x_date(date_breaks = '6 months', date_labels = '%y-%m')

# 两张图合并到一起
grid.arrange(p1, p2, ncol = 1, nrow = 2)

图形非常像我们以前学的y=sin(x)函数，非常具有规律性，反映了最高气温和最低气温存在周期波动性。既然气温在一年四季内存在明显的波动，那么温差会不会比较平稳呢？

上海近7年温差是如何波动的？

# 近7年温差波动
p3 <- ggplot(data = tot_info, aes(x = date, y = diff)) + 
              geom_line(colour = 'steelblue') + 
              scale_x_date(date_breaks = '6 months', date_labels = '%y-%m') + 
              geom_hline(yintercept = 12.5, colour = 'red') # 水平参考线

p3

你会发现，每天的温差基本上还是比较平稳的，落在3~8度之间，当然也会存在一些气温异常的时候，温差能够达到10度以上。了解了整体近7年的温度趋势和温差波动情况，是不是可以纵向对比一下近3年各个月的温度情况。

近3年各月最低气温对比

# 近三年各月最低气温趋势
p4 <- ggplot(data = tot_info[tot_info$year %in% 2015:2017,], 
            aes(x = day, y = low, group = year, colour = year)) + 
      geom_line(size = 1) + 
      scale_x_discrete(breaks = seq(1,31,5)) + # 设置x轴刻度标签
      facet_wrap('month') + # 分面绘图
      theme(legend.title = element_blank())
p4

对比发现，在近三年的5/6/8/9月份，最低气温趋势还是非常一致的，三条线几乎重合。而在7月份，2015年相对比较凉爽。再看其他月份，2016年的1月23号左右，气温骤降的特别厉害，还记得去年1月份上海的好多小区水管爆裂吗？而在2016年10月21日，气温居然降到了0度附近。。。。

同理，我们再贴上近3年最高气温趋势图和温差波动图的代码。

# 近三年最高气温趋势
p5 <- ggplot(data = tot_info[tot_info$year %in% 2015:2017,], 
            aes(x = day, y = high, group = year, colour = year)) + 
      geom_line(size = 1) + 
      scale_x_discrete(breaks = seq(1,31,5)) + 
      facet_wrap('month') + 
      theme(legend.title = element_blank())
p5

# 近三年温差趋势
p6 <- ggplot(data = tot_info[tot_info$year %in% 2015:2017,], 
            aes(x = day, y = diff, group = year, colour = year)) + 
      geom_line(size = 1) + 
      scale_x_discrete(breaks = seq(1,31,5)) + 
      facet_wrap('month') + 
      theme(legend.title = element_blank())

p6

通过上面的图形对比，我们可以发现关于气温的一些规律，以及少数的异常天气。如果我想在一张图上，完全展示每一天的最高或最低气温，可以借助于热力图来完成。

热力图展示每天的最高气温分布

# 分面的年月日热力图
p7 <- ggplot(data = tot_info, aes(x = day, y = month, fill = high)) + 
      geom_tile(colour = 'black') + 
      scale_x_discrete(breaks = seq(1,31,5)) + # 设置x轴刻度标签
      scale_y_discrete(breaks = seq(1,12,2)) + # 设置y轴刻度标签
      scale_fill_gradient(low = 'blue', high = 'yellow') + # 颜色配置
      facet_wrap('year') # 按年绘制分面图形
p7

一眼就可以发现中间段的亮黄色是气温比较高的月份，即6/7/8月份，再往两边扩展，逐渐进入冷紫色，气温开始下降，基本上就是年初和年末的两个季度了。

前面分析的内容全都是基于温度相关的时间序列图形，从抓取下来的数据集中，还包含了关于天气的字段，如晴、多云、小雨这样的信息。接下来我们就来看看近一年中，每个月上海的天气分布状况，从而有助于了解各个月的天气特征。

# 提取近一年的数据子集
weather1year <- subset(tot_info, date>='2016-09-01')

# 数据集的汇总
df <- group_by(weather1year, year, month, weather) %>% summarise(., freq = n())

# 拓展衍生变量
df <- transform(df, year_month = paste0(year,'-',month))

# 因子化处理，便于后面画图展现的顺序
df$year_month <- factor(df$year_month, levels = 
                          c('2016-9','2016-10','2016-11','2016-12', 
                           '2017-1','2017-2','2017-3','2017-4',
                           '2017-5','2017-6','2017-7','2017-8'),
                        ordered = TRUE)

# 绘图
p8 <- ggplot(data = df, aes(x = reorder(weather,-freq), y = freq)) + 
      geom_bar(stat = 'identity', fill = 'steelblue') + 
      coord_cartesian(ylim = c(0, 15)) + # 控制Y轴的范围
      labs(x = NULL, y = '天数', title = '2016.9~2017.8上海天气状况') + 
      facet_wrap('year_month') + # 按年月作分面图形
      geom_text(aes(label = freq),vjust = 0,  
                size = 3, colour = 'black') + # 为每个条柱添加数值标签
      theme(axis.text.x = element_text(angle = 60),
            plot.title = element_text(hjust = 0.5, face = 'bold')) # 主题设置

p8