海量数据流实时分发技术研究

项目名称： 海量数据流实时分发技术研究

项目编号： No.61502513

项目类型： 青年科学基金项目

立项/批准年度： 2016

项目学科： 自动化技术、计算机技术

项目作者： 马行空

作者单位： 中国人民解放军国防科技大学

项目金额： 20万元

中文摘要： 在震后救援、灾难天气预警等应急响应领域中，海量数据流实时产生且到达速率难以预测，用户规模大且兴趣各不相同。如何将海量数据流在广域网范围内实时分发至具有不同兴趣的大规模用户群体成为当前亟待解决的挑战性问题。为此，本项目将展开三个方面研究：(1) 为了从大规模复杂订阅中找出对数据感兴趣的用户群体，研究支持复杂事件处理的实时匹配方法，高效完成数据流上聚合、排序等操作，实现事件匹配高吞吐率。(2) 针对用户对数据到达实时性的需求，研究海量数据流的实时事件路由方法，结合数据中心网络中的可扩展服务节点，实现毫秒级数据流分发。(3) 针对系统工作负载频繁波动导致分发实时性降低的问题，研究运行时性能感知的自适应伸缩方法，弹性调整服务节点规模以保证数据分发实时性并提高资源利用率。本项目旨在探索切实可行的保障数据流分发实时性的方法，有效提高应急响应领域中突发事件的检测和预警水平，增强处置突发事件的救援能力。

中文关键词： 海量数据流；复杂事件处理；事件匹配；事件路由；自适应伸缩

英文摘要： The emergency fields, such as post earthquake rescue and disaster weather warning, are characterized by massive data stream with unpredictable arrival rate, and large-scale users with various interests. These characteristics pose a great challenge: how to timely disseminate massive data stream to a large amount of users with diverse interests. To this end, this project will perform research at three aspects. (1) To filter out interested users from large-scale complex subscriptions, this project will study real-time matching approaches, which support complex event processing, realize efficient aggregation and sorting on data stream, and achieve high event matching throughput. (2) According to the real-time requirement of data dissemination, this project will study flash routing approach to disseminate massive data stream. Using scalable servers of data centers, we plan to complete data dissemination in milliseconds. (3) Frequent churn system workloads lead to high dissemination latency. To guarantee real-time dissemination and improve resource utility, we will study runtime performance-aware auto-scaling method to elastically adjust the scale of servers. The objective of this project is to build an available method to ensure real-time data dissemination, improve the capacity of detecting and warning emergency events, and enhance the capacity of emergency rescue.

英文关键词： Massive Data Stream;Complex Event Processing;Event Matching;Event Routing;Auto-scaling