支撑微信平稳应对每分钟百亿级挑战的分布式存储系统

2017 年 7 月 19 日 QCon 曾楚伟

编者按

作者介绍:曾楚伟(EddyZeng),微信存储系统主要负责人,2009 年研究生毕业,历经 QQ 邮箱、微博私信、微信架构设计和后台开发工作。2011 年至今,参与和主导多个系统架构优化项目。在过去一年,作为微信核心存储 PaxosStore 主创人员之一,对微信核心存储系统(消息、朋友圈、帐号存储等)进行重大架构改造,提升系统可用性和优化存储成本。


微信 PaxosStore 是一个分布式存储系统,创新的无租约 Paxos 工程实现,实现三园区多主多写,任意角色宕机时系统无需切换周期,真正实现实时可用,平滑服务。PaxosStore 广泛支撑微信在线应用,峰值过亿 TPS,运行在数千台服务器上。PaxosStore 在数据分区内部提供完整的串行 ACID 语义,支持键值/队列/集合等数据结构以及二维表,单表可超亿行并提供 SQL 接口支持业务快速开发,通过跨园区数据中心间的同步复制提供强一致性和高可用性。该系统在 2017 年除夕夜实践中,平稳应对百亿级每分钟的挑战。



演讲视频




幻灯片




往期精彩演讲:


聊聊Google花10年时间建立的完整云端开发工具链

从SVN到Git,百度万人研发团队Git工具链建设的挑战与思考

今日头条Go语言构建日请求千亿级微服务的最佳实践

阿里巴巴AliExpress数百微服务的治理之策

新浪微博混合云架构如何轻松应对热点事件的高峰值流量




QCon 上海 2017


一年一度的 QCon 上海 2017 大会将于 10 月 17-19 日在上海宝华万豪酒店召开,下面是您可能感兴趣的话题:

Nuage——LinkedIn 如何使其分布式数据系统更易用

演讲嘉宾:Eric Kim


Eric Kim 是 LinkedIn 数据基础设施团队高级经理,领导着云管理部门,负责 Nuage(LinkedIn 的私有云解决方案) 和 Helix(一个用于分布式集群管理的 Apache 开源项目)。在加入 LinkedIn 之前,Eric 在 OpenX 担任技术总监,帮助构建了世界上最大的私有广告交易平台之一。在加州大学伯克利分校毕业之后,Eric 曾从事过多个领域的工作,如电信、搜索引擎、语义关联等,而现在是数据基础设施方面的。


更多信息请点击“阅读原文”关注 QCon 上海 2017。


除此之外,本次大会还邀请到了硅谷人工智能技术,软件性能,架构,互联网金融,前端,运维,移动,安全,创业,微服务,产品,以及团队管理等众多领域的技术专家,来分享他们的技术实践和经验总结,详情请点击阅读原文查看。



登录查看更多
1

相关内容

【干货书】现代数据平台架构,636页pdf
专知会员服务
257+阅读 · 2020年6月15日
大数据安全技术研究进展
专知会员服务
95+阅读 · 2020年5月2日
《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
197+阅读 · 2020年3月8日
【CAAI 2019】自然语言与理解,苏州大学| 周国栋教授
专知会员服务
63+阅读 · 2019年12月1日
阿里巴巴全球化架构设计挑战
InfoQ
35+阅读 · 2019年11月25日
DevOps 国际峰会 2019 · 北京站完整实录(附PPT)
DevOps时代
52+阅读 · 2019年7月8日
5G时代:北京移动业务支撑系统 DevOps 实践
DevOps时代
15+阅读 · 2019年6月13日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
18+阅读 · 2018年12月21日
一篇文章读懂阿里企业级数据库最佳实践
阿里巴巴数据库技术
5+阅读 · 2017年12月20日
【AI说】揭秘京东实时数据仓库背后的神秘力量—JDQ
京东大数据
10+阅读 · 2017年9月14日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
Arxiv
6+阅读 · 2019年7月29日
Large-Scale Study of Curiosity-Driven Learning
Arxiv
8+阅读 · 2018年8月13日
Arxiv
14+阅读 · 2018年4月18日
Arxiv
3+阅读 · 2012年11月20日
VIP会员
相关资讯
阿里巴巴全球化架构设计挑战
InfoQ
35+阅读 · 2019年11月25日
DevOps 国际峰会 2019 · 北京站完整实录(附PPT)
DevOps时代
52+阅读 · 2019年7月8日
5G时代:北京移动业务支撑系统 DevOps 实践
DevOps时代
15+阅读 · 2019年6月13日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
18+阅读 · 2018年12月21日
一篇文章读懂阿里企业级数据库最佳实践
阿里巴巴数据库技术
5+阅读 · 2017年12月20日
【AI说】揭秘京东实时数据仓库背后的神秘力量—JDQ
京东大数据
10+阅读 · 2017年9月14日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
Top
微信扫码咨询专知VIP会员