Kaggle:一套完整的网站流量预测模型

2018 年 2 月 23 日 黑白之道


今天给大家推荐的是一个名叫Kaggle的网站流量预测项目,本项目采用Python语言开发,可以给大家的流量预测建模提供一些思路。



项目地址

https://github.com/sjvasquez/web-traffic-forecasting

数据模型

Kaggle的训练数据集由大约14.5万套时间序列组成,每一套时间序列代表的是每天不同维基百科文章页的浏览次数,时间记录的周期为2015年7月1日到2017年9月10日。而我们的目标是为了预测2017年9月13日到2017年11月13日之间每天的页面浏览量。其中,需要检测的流量包括移动端、桌面端以及爬虫流量。

注:模型的评价指标为SMAPE。

测评方法

使用了一个单一的神经网络来对14.5万套时间序列进行建模,该模型架构跟WaveNet非常相似,主要由扩展卷积和因果卷积网络组成,整个概念如下图所示:



为了让数据模型适应并生成整个64天的相干预测值,我们还需要对模型进行一些修改。为了在条件信息不足的情况下尽量减少错误序列信息的生成,我们采用了一种“序列-序列”的方法,其中的编码器和解码器不会共享参数。这样一来,我们就可以在模型生成长序列的情况下让解码器来负责处理积累的噪声了。

下面给出的是一些样本预测,并演示了一些可以捕捉和预测的网络模型。其中,预测值为黄色,灰色的是真实数据值,Y轴为对数变换:


 

配置要求

12 GBGPU(建议)+Python2.7

Python数据包:

numpy==1.13.1

pandas==0.19.2

scikit-learn==0.18.1

tensorflow==1.3.0 


你可能喜欢

商场CCTV系统变“僵尸”,可用于流量攻击其他网站

某电商网站流量劫持案例分析与思考


登录查看更多
3

相关内容

干净的数据:数据清洗入门与实践,204页pdf
专知会员服务
161+阅读 · 2020年5月14日
【IJCAI2020】图神经网络预测结构化实体交互
专知会员服务
42+阅读 · 2020年5月13日
KGCN:使用TensorFlow进行知识图谱的机器学习
专知会员服务
81+阅读 · 2020年1月13日
金融时序预测中的深度学习方法:2005到2019
专知会员服务
166+阅读 · 2019年12月4日
【机器学习课程】Google机器学习速成课程
专知会员服务
164+阅读 · 2019年12月2日
可解释推荐:综述与新视角
专知会员服务
111+阅读 · 2019年10月13日
【免费直播课程】用户画像建模实践,只等你来!
R语言中文社区
5+阅读 · 2018年8月3日
基于 Keras 用深度学习预测时间序列
R语言中文社区
23+阅读 · 2018年7月27日
手把手教你用Python库Keras做预测(附代码)
数据派THU
14+阅读 · 2018年5月30日
Kaggle 新赛:第二届 YouTube-8M 视频理解挑战赛
AI研习社
10+阅读 · 2018年5月26日
金融时间序列(二)丨数析学院
Datartisan数据工匠
9+阅读 · 2017年12月5日
视频 | 如何用 AI 预测股价?
AI研习社
5+阅读 · 2017年6月30日
Arxiv
7+阅读 · 2018年12月10日
Rapid Customization for Event Extraction
Arxiv
7+阅读 · 2018年9月20日
Arxiv
7+阅读 · 2018年1月18日
VIP会员
相关VIP内容
干净的数据:数据清洗入门与实践,204页pdf
专知会员服务
161+阅读 · 2020年5月14日
【IJCAI2020】图神经网络预测结构化实体交互
专知会员服务
42+阅读 · 2020年5月13日
KGCN:使用TensorFlow进行知识图谱的机器学习
专知会员服务
81+阅读 · 2020年1月13日
金融时序预测中的深度学习方法:2005到2019
专知会员服务
166+阅读 · 2019年12月4日
【机器学习课程】Google机器学习速成课程
专知会员服务
164+阅读 · 2019年12月2日
可解释推荐:综述与新视角
专知会员服务
111+阅读 · 2019年10月13日
相关资讯
【免费直播课程】用户画像建模实践,只等你来!
R语言中文社区
5+阅读 · 2018年8月3日
基于 Keras 用深度学习预测时间序列
R语言中文社区
23+阅读 · 2018年7月27日
手把手教你用Python库Keras做预测(附代码)
数据派THU
14+阅读 · 2018年5月30日
Kaggle 新赛:第二届 YouTube-8M 视频理解挑战赛
AI研习社
10+阅读 · 2018年5月26日
金融时间序列(二)丨数析学院
Datartisan数据工匠
9+阅读 · 2017年12月5日
视频 | 如何用 AI 预测股价?
AI研习社
5+阅读 · 2017年6月30日
Top
微信扫码咨询专知VIP会员