字节跳动开源BitSail,助力企业走好数字化“第一步”

2022 年 10 月 31 日 CSDN

10月26日,字节跳动宣布开源BitSail数据集成引擎。BitSail意为“数据航行”,可支持二十余种异构数据源间的数据同步,提供离线、实时、全量、增量场景下的全域数据集成解决方案,从而打通困扰企业数字化转型的“数据孤岛”,帮助企业用户更有效地发挥数据资产价值。

BitSail开源地址:https://github.com/bytedance/bitsail

据悉,BitSail起源于2018年。当时字节跳动的业务场景日益复杂,数据源越来越多,数据量更是呈爆发式增长。为了支撑公司业务快速发展,字节跳动数据平台团队开始自研数据集成引擎。

数据集成引擎技术架构图

新引擎最初基于Apache Flink实现,历经多年持续改进和创新,现已具备批式集成、流式集成和增量集成三类同步模式,并支持分布式水平扩展和流批一体架构,在各种数据量和各种场景下,一个框架即可解决数据集成需求。此外,BitSail采用插件式架构,支持运行时解耦,从而具备极强的灵活性,企业可以很方便地接入新的数据源。

目前,BitSail不仅服务于抖音、今日头条等字节跳动内部业务,也服务了火山引擎多家企业客户,其稳定性、数据传输质量和运维成本等方面经过“千锤百炼”,已经具备较高的产品成熟度。

数据显示,BitSail在字节跳动内部每天的任务量超过20万,传输的数据行数超过百万亿行,其中单批任务达到千亿行、单流任务达到千万QPS,支持10分钟级延迟SLA。通过在火山引擎的云原生环境和客户专有云环境等不同场景的打磨,在确保数据传输安全性的同时,BitSail的功能细节和性能得到进一步优化,可以满足企业绝大部分使用需求。

自2015年至今,字节跳动已开源了50多个项目,早期大多为工程师个人兴趣驱动。今年5月,字节跳动宣布成立开源委员会,为技术开源引入公司级的策略、规范与流程机制。BitSail项目负责人表示,做好开源的“北极星指标”,在于真实落地,帮助开发者在生产环境或实际业务中创造价值。BitSail会持续夯实基础能力,并结合内外部业务实践输出更多创新的特性,帮助企业用户走好数字化“第一步”。

— 推荐阅读 —

  
  
    
汇编语言创始人 Kathleen Booth 去世,享年 100 岁!
华为前三季研发费用超1100亿;微软CEO纳德拉获得10%的加薪,年薪近4亿元;PHP 8.1.12 发布|极客头条
蚂蚁规模化平台工程实践一年多,我们学到了什么?

登录查看更多
0

相关内容

基础云服务行业发展洞察-艾瑞咨询(附下载)
专知会员服务
11+阅读 · 2022年11月4日
《分布式云发展白皮书》重磅发布(附下载),47页pdf
专知会员服务
87+阅读 · 2022年6月25日
实时数据湖在字节跳动的实践
专知会员服务
29+阅读 · 2022年5月28日
阿里云发布《中国云原生数据湖应用洞察白皮书》
专知会员服务
42+阅读 · 2022年4月15日
腾讯等《2022年金融科技十大趋势展望》,68页pdf
专知会员服务
63+阅读 · 2022年3月31日
2021年中国云原生AI开发平台白皮书
专知会员服务
54+阅读 · 2021年12月4日
人工智能AI中台白皮书(2021年),45页pdf
专知会员服务
284+阅读 · 2021年9月18日
多样性算力技术愿景白皮书
专知会员服务
81+阅读 · 2021年4月29日
【腾讯IDC】数实共生:未来经济白皮书2021,81页pdf
专知会员服务
74+阅读 · 2021年1月24日
华为云具体生动的全球化方法论
36氪
0+阅读 · 2022年9月19日
千万级可观测数据采集器--iLogtail代码完整开源
阿里技术
0+阅读 · 2022年7月12日
企业数据AI化战略:从数据中台到AI中台
36大数据
11+阅读 · 2019年2月18日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
76+阅读 · 2022年3月26日
Arxiv
23+阅读 · 2021年10月11日
已删除
Arxiv
32+阅读 · 2020年3月23日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
73+阅读 · 2018年12月22日
Arxiv
20+阅读 · 2018年1月17日
VIP会员
相关VIP内容
基础云服务行业发展洞察-艾瑞咨询(附下载)
专知会员服务
11+阅读 · 2022年11月4日
《分布式云发展白皮书》重磅发布(附下载),47页pdf
专知会员服务
87+阅读 · 2022年6月25日
实时数据湖在字节跳动的实践
专知会员服务
29+阅读 · 2022年5月28日
阿里云发布《中国云原生数据湖应用洞察白皮书》
专知会员服务
42+阅读 · 2022年4月15日
腾讯等《2022年金融科技十大趋势展望》,68页pdf
专知会员服务
63+阅读 · 2022年3月31日
2021年中国云原生AI开发平台白皮书
专知会员服务
54+阅读 · 2021年12月4日
人工智能AI中台白皮书(2021年),45页pdf
专知会员服务
284+阅读 · 2021年9月18日
多样性算力技术愿景白皮书
专知会员服务
81+阅读 · 2021年4月29日
【腾讯IDC】数实共生:未来经济白皮书2021,81页pdf
专知会员服务
74+阅读 · 2021年1月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
76+阅读 · 2022年3月26日
Arxiv
23+阅读 · 2021年10月11日
已删除
Arxiv
32+阅读 · 2020年3月23日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
73+阅读 · 2018年12月22日
Arxiv
20+阅读 · 2018年1月17日
Top
微信扫码咨询专知VIP会员