会员服务
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。
Applying Large-Scale Distributed Computing to Structural Bioinformatics -- Bridging Legacy HPC Clusters With Big Data Technologies Using kafka-slurm-agent
Arxiv
0+阅读 · 3月19日
Novel Architecture for Distributed Travel Data Integration and Service Provision Using Microservices
Novel Architecture for Distributed Travel Data Integration and Service Provision Using Microservices
Arxiv
0+阅读 · 2024年10月31日
Real-time Event Joining in Practice With Kafka and Flink
Arxiv
0+阅读 · 2024年10月20日
A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks
Arxiv
0+阅读 · 2024年5月29日
A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks
Arxiv
0+阅读 · 2024年5月28日
A Comprehensive Benchmarking Analysis of Fault Recovery in Stream Processing Frameworks
Arxiv
0+阅读 · 2024年4月9日
Multi-Objective Optimization of Consumer Group Autoscaling in Message Broker Systems
Arxiv
0+阅读 · 2024年2月8日
Global Message Ordering using Distributed Kafka Clusters
Arxiv
0+阅读 · 2023年11月14日
Distributed Kafka Clusters: A Novel Approach to Global Message Ordering
Arxiv
0+阅读 · 2023年9月10日
A Performance Study on the Throughput and Latency of Zenoh, MQTT, Kafka, and DDS
Arxiv
0+阅读 · 2023年3月16日
TensAIR: Online Learning from Data Streams via Asynchronous Iterative Routing
TensAIR: Online Learning from Data Streams via Asynchronous Iterative Routing
Arxiv
0+阅读 · 2022年11月18日
Design Guidelines for Apache Kafka Driven Data Management and Distribution in Smart Cities
Arxiv
0+阅读 · 2022年8月1日
Kafka Consumer Group Autoscaler
Kafka Consumer Group Autoscaler
Arxiv
0+阅读 · 2022年6月22日
On Efficiently Partitioning a Topic in Apache Kafka
Arxiv
0+阅读 · 2022年5月19日
METL: a modern ETL pipeline with a dynamic mapping matrix
Arxiv
0+阅读 · 2022年3月23日
参考链接
父主题
消息队列
微信扫码咨询专知VIP会员
Top