这本实用指南作者Sev Leonard提供了一种在云中设计可扩展数据管道的整体方法,以解决低成本入门后可能演变成重要开销的问题。对于开发数据管道的团队,特别是在技术和工作负载快速变化的情况下,需要不断进行重新设计,这是一个挑战。本书将帮助中级数据工程师、软件开发人员和架构师学习如何在成本和性能之间进行权衡,并选择和配置计算和存储。同时,您还将掌握代码开发、测试和监控的最佳实践。通过关注整个设计过程,您将能够提供成本效益高、质量高的产品。本书可以帮助您:- 通过选择成本较低的云服务和智能设计策略,减少云服务支出- 通过合理配置计算资源,最大程度地减少浪费而不损失性能- 通过有效的监控,推动管道的发展,防止性能问题并快速调试- 设置开发和测试环境,尽量减少对云服务的依赖- 创建可测试和可扩展的数据管道代码库,促进快速开发和演进- 通过验证和测试提高数据质量和管道操作效率。通过本书,您将学习如何在云上交付可扩展且高度可用的产品,同时保持成本可控。这对于在不断变化的技术和工作负载下开发数据管道的团队非常有用。