面向数据工程师的Master Azure Databricks

使用Apache Spark（PySpark）和Databricks Cloud（Azure）以及端到端Capstone项目进行主流处理

价格：56$

上次更新时间：2024/1

教程评分：4.8 分 (1,199 条评价)

教程语言：英语

教程字幕：英语 [自动], 法语 [自动]

本课程包括：

• 22.5 小时随时观看的视频
• 1 篇文章
• 手机和电视上访问
• 终身访问权限
• 完成证书

学习内容：

• 实时流处理概念
• Spark 结构化流 API 和架构
• 处理流的来源和接收端
• 数据工程师的 Kafka
• 使用 Kafka 来源并将 Spark 与 Kafka 集成
• 无状态和有状态的流转换
• 使用 Spark 流进行窗口聚合
• 水印和状态清理
• 流连接和聚合
• 处理流连接的内存问题
• 使用 Azure Databricks
• 综合项目 – 数据湖中的流处理应用

课程要求：

• Spark 基础知识和 Spark 数据框 API 的使用
• Python 编程语言的编程知识

课程描述：

本课程“Apache Spark 和 Databricks – 数据湖中的流处理”旨在帮助学生掌握使用 Apache Spark 和 Databricks Cloud 进行实时流处理的技能。通过本课程，您将学习到实时流处理概念、Spark 结构化流 API 和架构、如何处理流的来源和接收端等内容。本课程特别适合软件工程师、数据架构师和数据工程师，以及那些希望深入了解并应用 Apache Spark 技术的人士。

本课程包含一个端到端的综合项目，帮助您从实际项目中学习设计、编码、实施、测试和 CI/CD 方法。通过该项目，您将获得在实际工作中应用这些技能的宝贵经验。

我们使用 Apache Spark 3.5 版本，并在 Azure Databricks Cloud 上进行了所有源代码和示例的测试，确保您学习到最新和最实用的技术。

无论您是希望设计和开发大数据工程项目的软件工程师和架构师，还是希望通过学习 Apache Spark 和 Databricks Cloud 成长并学习数据工程的程序员和开发人员，本课程都将为您提供所需的知识和技能。

%2$s文本长度%4$s：文本包含%1$d%7%s。这远远低于建议的最低%5$d%7%s。%3$s添加更多内容%4$s。

B 站免费课程：更多免费教程

更多 Spark 教程：更多 Spark 教程