大数据管道系统设计(System Design for Big Data Pipelines)

大数据技术在过去几年中呈指数级增长，并渗透到软件开发的各个领域和行业。它已成为软件工程师的核心技能。需要强大而有效的大数据管道来支持大数据世界中不断增长的数据量和应用程序。这些管道已成为业务的关键，有助于增加收入和降低成本。

高质量的大数据管道是神奇的吗？构建和维护这些管道需要可扩展、可靠且具有成本效益的高质量设计。

如何构建端到端大数据管道，有效利用大数据技术和实践来解决业务问题？如何以可扩展且可靠的方式集成它们？您如何部署、保护和操作它们？您如何看待整个森林而不仅仅是个别树木？本课程重点关注这一技能差距。

本课程涵盖哪些主题？

我们首先讨论大数据管道的构建块、它们的功能和挑战。

我们介绍了构建大数据管道的结构化设计流程。

然后，我们讨论各个构建块，重点关注可用的设计模式、它们的优点、缺点、用例和可用技术。

我们在整个课程中推荐了几种最佳实践。

最后，我们实现了两个用例来说明如何将课程中学到的知识应用于现实世界的问题。一个是批量用例，另一个是实时用例。