我花了14个小时找了一下长春长生们究竟卖到了哪里去

2018 年 7 月 24 日 大数据技术

来自:同程安全应急响应中心(微信号:ysrc_team)

前言

本文首发于个人的公众号和v2ex,事先也没想到会有这么多人关注。在这边重新编辑一下,去掉了原先前言中对此次疫苗事件背景的描述及部分不严谨的措辞。全文的观点从技术讨论出发,尽量客观中立,观点及行为为员工自发,不代表本人所在公司及团队。


需要说明的是这次数据是涵盖所有的疫苗数据,并不是针对此次问题疫苗定向搜集的数据,所有数据皆来自于政府相关网站的公开数据。

数据采集源

因为有一些数据实在太难找了,只能来看一下近两年的数据,并且不考虑疫苗增补名单数据(太零碎了)。

所以这次整理的数据并不完善,所以把所有搜集到的数据全部同步到了GitHub,有需要可以自取或者提issue和pr。

因为时间跨度较大,所以没有把批次的信息纳入本次的统计范围。本文主要从技术层面搜集了此次问题疫苗事件相关企业生产的各类疫苗在各省份的销售情况。

采集关键词

  • 省名  第二类疫苗  采购

  • 省名  第二类疫苗  公示

  • 省名  第二类疫苗  产品及价格

  • 省名  第二类疫苗  供应商

  • 省名  第二类疫苗  中标目录

  • 省名  第二类疫苗  参考价

  • 省名  第二类疫苗  入围结果

采集结果整理如下

  • 北京市,来源:北京市2018-2019年免疫规划用第二类疫苗采购项目

  • 天津市,来源:天津市2018-2020年第二类疫苗集中采购项目拟中标/拟中选结果

  • 上海市,来源:2018 年度上海市第二类疫苗集团采购项目中标目录

  • 重庆市,来源:重庆市第二类疫苗供应商入围采购-采购结果预公示

  • 河北省,来源:河北省疾病预防控制中心2018年度第二类疫苗省级集中采购项目中标公告

  • 山西省,来源:2018年度山西省第二类疫苗集中采购入围企业产品及价格

  • 辽宁省,来源:辽宁省第二类疫苗平台招标采购公告

  • 吉林省,来源:2017年度吉林省第二类疫苗集中采购企业产品议价结果名单

  • 黑龙江省,来源:黑龙江省2018年第二类疫苗挂网采购中标企业产品及价格审核结果

  • 江苏省,来源:江苏省第二类疫苗集中采购中标产品

  • 浙江省,来源:浙江省2018年第二类疫苗中标目录

  • 安徽省,来源:安徽省2018年第二类疫苗集中采购目录

  • 福建省,来源:福建省2018年第二类疫苗集中采购目录_湄洲岛

  • 江西省,来源:1228江西省2018年度第二类疫苗入围品种目录

  • 山东省,「找不到」

  • 河南省,来源:2017年河南省二类疫苗供应商入围资格采购项目中标结果公告

  • 湖北省,来源:2017年湖北省第二类疫苗集中采购成交产品

  • 湖南省,来源:湖南省第二类疫苗集中采购文件

  • 广东省,来源:2018年度广东省第二类疫苗成交品种目录

  • 海南省,来源:海南省第二类疫苗品种目录(第一批)

  • 四川省,来源:2017年度第二类疫苗挂网阳光采购结果

  • 贵州省,来源:贵州省第二类疫苗集中采购报价解密结果

  • 云南省,来源:云南省疾病预防控制中心二类疫苗公开招标入围项目入围公告

  • 陕西省,来源:陕西省2018年二类疫苗集中采购项目入围供应商磋商结果

  • 甘肃省,来源:甘肃省第二类疫苗供应资格采购项目中标公示

  • 青海省,来源:所有的第二类的价格信息全部转到:223.220.250.135:8038  无法查看

  • 台湾省,暂无

  • 内蒙古自治区,2018年内蒙古自治区第二类疫苗集中采购入围企业产品及价格

  • 广西壮族自治区,2017年度广西壮族自治区第二类疫苗直接挂网采购拟入围产品目录(电子版)

  • 西藏自治区,实在找不到

  • 宁夏回族自治区,2016年宁夏回族自治区第二类疫苗公开招标预中标结果

  • 新疆维吾尔自治区,《自治区2017年第二类疫苗入围品种及价格目录》20170828.xls

  • 香港特别行政区,暂无

  • 澳门特别行政区,暂无


综上,除去港澳台 ,山东,青海以及西藏以外,只搜集到了28个省级行政区的二类疫苗数据公示情况。

单单是检索,下载的过程,就花了7个多小时,主要遇到了一些问题:

  • 某些网站需要注册登录才可以查看

  • 有些网站缺乏维护被挂了黑链

  • 搜索框有,但是实际并不能搜索

  • 有些只有图片,没有文字

  • 有些只在纯公告但无具体数据

  • 找不到信息的有

    • 山东省,只看到新闻说建了可追溯的展示平台,但本次暂未找到

    • 青海省,所有的第二类的价格信息需要账号登录进相关系统才能访问

    • 西藏,暂时没能搜索到相关数据


如图,最终获取到28个省份的数据,(图中漏掉了河北)。

数据整理

由于本人不是专业的医学行业人士,所以统一把数据整理成以下的csv格式。

通用名,来源,生产企业,申报企业,省,中标年份
name,src,create_company,report_company,prov,year

各项含义如下:

  • 通用名 :药名  -> name

  • 来源:国产/进口 -> src

  • 生产企业 ->  create_company

  • 申报企业:如果为空再填充为生产企业 ->  report_company

  • 省  ->  prov

  • 中标年份 ->  year


期间因为整理非XLS的文件消耗了大量的时间,暂时只能先把成型的数据集提取出来。

目前处理结果如下:

  • 数据标准csv(14)

    吉林省,四川省,天津市,宁夏回族自治区,安徽省,山西省,广东省,新疆维吾尔自治区,江苏省,江西省,海南省,贵州省,辽宁省,黑龙江省,

  • 等待整理的数据(13)

    上海市,云南省,内蒙古,北京市,广西省,河南省,浙江省,湖北省,湖南省,甘肃省,福建省,重庆市,陕西省,

如图所示 

  • 亮绿色是容易获取的数据

  • 暗绿色的可以获取的数据

  • 黑色的是没有获取到数据

数据分析

直接采用pandas+echart进行处理,首先把所有的csv整合,共有1529条数据

,对所有的生成企业进行统计分析:

count    167.000000mean       9.143713std       15.839281min        1.00000025%        1.00000050%        3.00000075%        9.000000max       98.000000

共 167 个厂家,其中中位数是3,最高是98,很明显这是一个偏态分布。  顺手看一下箱线图:

也就是说,绝大多数的药,都由大厂生产。我们输出前10个看看,长春长生位列第2。

生产厂家 数量
北京科兴生物制品有限公司 98
长春长生生物科技有限责任公司 91
华兰生物疫苗有限公司 72
玉溪沃森生物技术有限公司 57
上海生物制品研究所有限责任公司 56
大连雅立峰生物制药有限公司 51
长春生物制品研究所有限责任公司 50
华北制药金坦生物技术股份有限公司 46
辽宁成大生物股份有限公司 44
北京智飞绿竹生物制药有限公司 43

我们再来看看各个省份中,长春长生等占据的百分比

[{'name': '天津', 'value': 14.0625}, {'name': '辽宁', 'value': 17.647058823529413}, {'name': '黑龙江', 'value': 13.274336283185843}, {'name': '安徽', 'value': 9.75609756097561}, {'name': '新疆', 'value': 16.94915254237288}, {'name': '江苏', 'value': 14.563106796116504}, {'name': '江西', 'value': 12.179487179487179}, {'name': '山西', 'value': 16.52173913043478}, {'name': '吉林', 'value': 17.857142857142858}, {'name': '贵州', 'value': 14.17910447761194}, {'name': '广东', 'value': 13.445378151260504}, {'name': '四川', 'value': 16.93548387096774}, {'name': '宁夏', 'value': 17.5}, {'name': '海南', 'value': 14.285714285714285}]

长春长生等在14个有数据的省份供应商中均占有一席之地:

  • 亮红色 接近20%

  • 暗红色 接近10%

  • 黑色的是没有获取到数据

对比下从官网下载的公司销售策略图

做到这里已经到了晚上11点,从早上9点做到现在,花了整整14小时,才将将整理了一半的省份,所以目前的数据并不完整,仅供参考,后面空了可能会继续整理更新到Github上。

后记

除了在朋友圈和微博刷屏表达我们的愤怒,或许我们还能做点什么,这也是我的出发点。最初的文章里面有些措辞不是太中性,抱歉,本只想在自己能力范围内做一点事情。

如果说有什么建议的话,希望相关部门在数据公示方面后续能继续加强吧。



●编号636,输入编号直达本文

●输入m获取到文章目录

推荐↓↓↓

Python编程

更多推荐18个技术类公众微信

涵盖:程序人生、算法与数据结构、黑客技术与网络安全、大数据技术、前端开发、Java、Python、Web开发、安卓开发、iOS开发、C/C++、.NET、Linux、数据库、运维等。

登录查看更多
0

相关内容

为了预防疾病而使用的产品,多数依靠刺激人自身的免疫起作用。
斯坦福2020硬课《分布式算法与优化》
专知会员服务
118+阅读 · 2020年5月6日
广东疾控中心《新型冠状病毒感染防护》,65页pdf
专知会员服务
18+阅读 · 2020年1月26日
电力人工智能发展报告,33页ppt
专知会员服务
126+阅读 · 2019年12月25日
2019年人工智能行业现状与发展趋势报告,52页ppt
专知会员服务
120+阅读 · 2019年10月10日
PACIFIC试验影响了我们什么?
肿瘤资讯
19+阅读 · 2019年7月25日
美联储若降息意味着什么?
FT中文网
3+阅读 · 2019年6月28日
深度解读 | 美国打压华为这事水很深——什么是华为?(1)
混沌研习社广州分社
21+阅读 · 2019年6月27日
三安光电到底发生了什么?
商业人物
7+阅读 · 2019年1月28日
招行高端卡套路深!“理财办卡”坑了多少人?
凤凰财经
3+阅读 · 2018年12月30日
周末深夜,学妹说她想做Python数据分析师
机器学习算法与Python学习
4+阅读 · 2018年6月7日
百度一下,你就离开
凤凰科技
5+阅读 · 2018年5月19日
看完后,别再说自己不懂用户画像了
R语言中文社区
15+阅读 · 2017年8月28日
Meta-Transfer Learning for Zero-Shot Super-Resolution
Arxiv
43+阅读 · 2020年2月27日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
UPSNet: A Unified Panoptic Segmentation Network
Arxiv
4+阅读 · 2019年1月12日
Arxiv
27+阅读 · 2017年12月6日
VIP会员
相关资讯
PACIFIC试验影响了我们什么?
肿瘤资讯
19+阅读 · 2019年7月25日
美联储若降息意味着什么?
FT中文网
3+阅读 · 2019年6月28日
深度解读 | 美国打压华为这事水很深——什么是华为?(1)
混沌研习社广州分社
21+阅读 · 2019年6月27日
三安光电到底发生了什么?
商业人物
7+阅读 · 2019年1月28日
招行高端卡套路深!“理财办卡”坑了多少人?
凤凰财经
3+阅读 · 2018年12月30日
周末深夜,学妹说她想做Python数据分析师
机器学习算法与Python学习
4+阅读 · 2018年6月7日
百度一下,你就离开
凤凰科技
5+阅读 · 2018年5月19日
看完后,别再说自己不懂用户画像了
R语言中文社区
15+阅读 · 2017年8月28日
Top
微信扫码咨询专知VIP会员