自推出以来课程的重大更新

2023 年 1 月 – 更新第 3 节（环境设置）以反映对用户界面的更改。重新录制了 5 节课。

2022 年 11 月 – 增加第 15 和 16 节，重点关注持续集成和持续交付 (CI/CD)

欢迎！

我期待着帮助您学习云中最受欢迎的数据工程工具之一，Azure 数据工厂 (ADF)！本课程讲授了使用 Azure 数据工厂 (ADF) 实施数据工程解决方案，以解决报告 Covid-19 趋势和预测该病毒传播的现实问题。

这与 Udemy 中针对 Azure 数据工厂或数据工程技术的其他课程不同。完成包括所有作业在内的课程后，我坚信您将能够自己开始一个真实世界的数据工程项目，并且精通 Azure 数据工厂 (ADF)。

我还提供了有关存储解决方案的课程，例如 Azure Data Lake Storage、Azure Blob Storage、Azure SQL Database 等。此外，还有有关 Azure HDInsight 和 Azure Databricks 的课程。我什至包括了关于使用 Power BI 对 Azure 数据工厂数据管道处理的数据构建报告的课程。我认为机器学习模型超出了范围。您可以使用此数据来构建自己的模型并预测传播。

该课程遵循现实世界项目实施的逻辑进展，其中解释了技术概念并同时构建了 Azure 数据工厂 (ADF) 中的数据管道。尽管本课程并不是专门为教您通过 Azure 数据工程师助理认证考试 DP203 所需的技能而设计的，但它可以极大地帮助您获得考试所需的大部分必要技能。

我和我一样珍惜你的时间。因此，我将这门课程设计得快节奏、切题。此外，该课程以简单的英语授课，没有行话。我从基础开始课程，到课程结束时，您将精通所使用的技术。

目前课程教你以下内容

Azure 数据工厂

• 使用 Azure 数据工厂 (ADF)、Azure Data Lake Gen2、Azure Blob 存储、Azure SQL 数据库、Azure Databricks、Azure HDInsight 和 Microsoft PowerBI 等 Azure 数据工程技术为数据工程解决方案构建解决方案架构。
• 使用 Azure 数据工厂集成来自 HTTP 客户端、Azure Blob 存储和 Azure Data Lake Gen2 的数据。
• 使用获取元数据等控制流活动在 Azure 数据工厂 (ADF) 管道中分支和链接活动。If Condition、ForEach、Delete、Validation 等
• 使用管道、数据集和 LinkedServices 中的参数和变量在 Azure 数据工厂 (ADF) 中创建元数据驱动的管道
• 调试数据管道并解决问题。
• 使用 Azure 数据工厂 (ADF) 中的事件触发器、计划触发器和翻转窗口触发器等触发器来安排管道
• 创建映射数据流以创建转换逻辑。该课程涵盖所有转换步骤，例如源、过滤器、选择、数据透视、查找、条件拆分、派生列、聚合、连接和接收器转换。
• 调试数据流、调查问题、修复故障等
• 实施 Azure 数据工厂管道以调用映射数据流并执行它们。
• 创建 ADF 管道以执行 HDInsight 活动并执行数据转换。
• 创建 ADF 管道以执行 Databricks Notebook 活动以执行转换。
• 在管道之间创建依赖关系以编排数据流
• 在触发器之间创建依赖关系以编排数据流
• 监视数据管道、创建警报、从 Azure 数据工厂监视器报告指标。
• 使用 Azure Monitor 监视数据工厂管道并设置要转发到 Azure 存储帐户或 Log Analytics Workspace 的诊断设置。
• 创建 Log Analytics 工作区，从 Azure 数据工厂管道上的日志分析创建工作簿和图表
• 实施 Azure 数据工厂分析监控工具以及如何进一步扩展该功能。

Azure 存储解决方案

• 创建 Azure 存储帐户、创建容器、上传数据、访问控制 (IAM)、使用 Azure 存储资源管理器与存储帐户交互
• 创建 Azure Data Lake Gen2、创建容器、上传数据、访问控制 (IAM)、使用 Azure 存储资源管理器与存储帐户交互
• 创建 Azure SQL 数据库、定价层、创建管理员用户、创建表、加载数据和查询数据库。

Azure HDInsight 和数据块

• 创建 HDInsight 集群、与 UI 交互、使用 Ambari、创建 Hive 表、从 Azure 数据工厂调用 HDInsight 活动
• 创建 Azure Databricks 工作区、创建 Databricks 集群、安装存储帐户、创建 Databricks 笔记本、使用 Databricks 笔记本执行转换、从 Azure 数据工厂调用 Databricks 笔记本。

Azure 开发运维 (CI/CD)

• 创建 Azure Devops 环境并配置 Azure Devops Git 存储库
• 用于将 Azure 数据工厂工件发布到更高环境的 CI/CD 过程
• 在 Azure Devops 中创建构建和发布管道以将代码发布到更高的环境（测试/生产）
• 配置/参数化 CI/CD 管道以发布访问 Azure Data Lake Storage 的 ADF 管道。