Microsoft Fabric数据工程精通：完整指南
使用Azure数据工厂、Spark和Medallion架构构建可扩展数据解决方案
学习内容：
* 优化Microsoft Fabric：了解高效数据工程组织的最佳实践。
* 了解Azure数据工厂：掌握数据工程基础知识的工作流程编排。
* 应用数据集成：在综合数据工程中利用端到端解决方案的原则。
* 评估数据转换：比较Microsoft Fabric中的技术以进行明智的数据处理。
* 使用Azure数据工厂实施解决方案：利用其与SQL数据仓库进行全面的数据工程。
* 使用Spark开发解决方案：为大规模数据处理和分析创建端到端解决方案。
* 构建Fabric数据流：定制Microsoft Fabric中的流程以转换和管理Lakehouse中的数据。
* 构建Fabric Spark作业：在Microsoft Fabric中创建高级Spark作业以进行复杂的数据转换。
* 建立数据仓库：从Fabric Lakehouse中提取数据，建立可扩展且可靠的数据仓库。
* 设计ADF管道：开发Azure数据工厂管道，实现高效的端到端数据转换。
* 使用数据流创建数据解决方案：构建端到端解决方案，集成组件以实现无缝数据处理。
* 应用DevOps进行版本控制：利用Microsoft DevOps进行系统源代码管理。
* 实施Medallion架构：应用Microsoft Fabric中的先进原理实现高效的数据处理。
课程内容主题：
* 介绍（包含课程结构、案例研究、Fabric技术栈等）
* 奖章架构与数据建模（核心概念、数据分层解析、数据模型概述）
* 设置Microsoft Fabric（免费账户创建、工作区搭建、原始Lakehouse配置）
* 使用Dataflow Gen2进行数据工程（从原始层到黄金层的全流程实践）
* 使用SQL进行数据工程（数据管道构建、分层数据处理、自动化流程）
* 使用PySpark和Python进行数据工程（Python脚本开发、Spark作业优化、数据可视化）
课程要求：
* 熟悉SQL和基本编程技能（课程重点讲解SQL和Python，提供完整案例研究示例）。
* 具备编程熟练度，能够处理脚本和数据转换任务。
* 有排除和调试技术问题的经验，以便构建和优化Azure数据工厂管道。
* 需要信用卡或借记卡以设置免费Azure账户（课程实践环节需使用Azure资源）。
课程详细描述：
* **课程目标**：通过真实案例和实践操作，掌握Microsoft Fabric的全流程数据工程技能，包括数据集成、转换、管道自动化及可视化。
* **核心内容**：
– **Microsoft Fabric基础**：学习工作区搭建、数据提取流程及核心功能。
– **奖章架构**：通过Raw、Bronze、Silver、Gold分层设计，实现高效数据处理。
– **Dataflow Gen2**：管理从原始到黄金层的数据流，解决常见数据转换问题。
– **SQL与Python集成**：使用SQL构建自动化管道，结合PySpark处理大规模数据。
– **数据可视化**：通过Power BI创建交互式仪表板和决策支持报告。
* **课程亮点**：
– **实践导向**：通过指导性练习，从零开始构建完整数据工程解决方案。
– **灵活学习路径**：从基础到高级，逐步掌握SQL、Python、Spark等工具。
– **真实场景应用**：通过汽车销售案例研究，强化理论与实践结合能力。
– **社区支持**：获取讲师指导，参与学习者社区交流问题与经验。
* **适合人群**：
– 数据工程师、分析师、数据库管理员、商业智能专家、数据科学家、IT从业者、技术爱好者及职业转型者。
* **认证关联**：课程内容覆盖Azure Data Engineer Associate认证所需的核心技能，适合备考参考。
