科研人员提出快速识别空气质量监测数据中多种异常的方法

2018 年 11 月 18 日 中科院之声

环境空气质量监测数据是公众了解空气质量最重要的依据,被广泛应用于改进空气质量预报、污染过程分析等众多大气污染相关研究。但由于仪器故障、恶劣环境和测量方法等原因,异常数据时有出现。


实际应用中通常依赖人工审核识别异常数据,但随着监测站数量的快速增加,人工审核工作量大幅增加,无法满足海量监测数据准实时应用(如准实时同化等)的需求。


针对于此,中国科学院大气物理研究所博士吴煌坚和副研究员唐晓等提出了一套基于残差概率的自动化异常识别方法。该方法使用低通滤波、空间回归等方式拟合监测数据,通过拟合残差的分布特征计算残差概率,进而设计程序自动识别并剔除小概率的异常数据。研究结果表明,引入残差概率可以将多项异常检查有机结合。例如通过假设时间残差和空间残差服从二元正态分布,可以将监测数据的时间一致性和空间一致性协同考虑,更准确地识别异常数据。


该方法可以以准实时方式(1分钟内)对全国1436个国控站点六项常规污染物(PM2.5, PM10, SO2, NO2, CO, O3)监测中的可疑异常数据进行标记和识别。目前该方法已被应用于中国环境监测总站的空气质量预报系统,并计划应用于实时的空气质量监测数据发布系统,为海量监测数据的快速应用提供技术支撑。


该研究已被《大气科学进展》接收并出版。


论文信息:Wu, H. J., X. Tang, Z. F. Wang, L. Wu, M. M. Lu, L. F. Wei, and J. Zhu, 2018: Probabilistic automatic outlier detection for surface air quality measurements from the China National Environmental Monitoring Network. Adv. Atmos. Sci., 35(12), 1522–1532.


空气质量监测数据中的典型异常示例


来源:中国科学院大气物理研究所


温馨提示:近期,微信公众号信息流改版。每个用户可以设置 常读订阅号,这些订阅号将以大卡片的形式展示。因此,如果不想错过“中科院之声”的文章,你一定要进行以下操作:进入“中科院之声”公众号 → 点击右上角的 ··· 菜单 → 选择「设为星标」





登录查看更多
5

相关内容

本话题关于日常用语「概率」,用于讨论生活中的运气、机会,及赌博、彩票、游戏中的「技巧」。关于抽象数学概念「概率」的讨论,请转 概率(数学)话题。
高效医疗图像分析的统一表示
专知会员服务
33+阅读 · 2020年6月23日
干净的数据:数据清洗入门与实践,204页pdf
专知会员服务
160+阅读 · 2020年5月14日
基于深度学习的多标签生成研究进展
专知会员服务
140+阅读 · 2020年4月25日
专知会员服务
31+阅读 · 2020年4月24日
数据标注研究综述,软件学报,19页pdf
专知会员服务
87+阅读 · 2020年2月20日
基于深度学习的行人重识别研究进展,自动化学报
专知会员服务
38+阅读 · 2019年12月5日
基于Siamese网络的多视角三维人脸重建
计算机视觉战队
5+阅读 · 2019年11月28日
科研人员提出海量虚拟数据生成新方法
中科院之声
6+阅读 · 2019年9月25日
【泡泡点云时空】PointPillars:点云物体检测的快速编码器
20个安全可靠的免费数据源,各领域数据任你挑
机器学习算法与Python学习
12+阅读 · 2019年5月9日
无参考图像质量评价研究进展综述
人工智能前沿讲习班
46+阅读 · 2019年2月15日
【质量检测】机器视觉表面缺陷检测综述
产业智能官
30+阅读 · 2018年9月24日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
Arxiv
3+阅读 · 2018年4月3日
VIP会员
相关VIP内容
相关资讯
基于Siamese网络的多视角三维人脸重建
计算机视觉战队
5+阅读 · 2019年11月28日
科研人员提出海量虚拟数据生成新方法
中科院之声
6+阅读 · 2019年9月25日
【泡泡点云时空】PointPillars:点云物体检测的快速编码器
20个安全可靠的免费数据源,各领域数据任你挑
机器学习算法与Python学习
12+阅读 · 2019年5月9日
无参考图像质量评价研究进展综述
人工智能前沿讲习班
46+阅读 · 2019年2月15日
【质量检测】机器视觉表面缺陷检测综述
产业智能官
30+阅读 · 2018年9月24日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
Top
微信扫码咨询专知VIP会员