50 小时大数据、PySpark、AWS、Scala 和数据抓取(50 Hours of Big Data, PySpark, AWS, Scala and Scraping)

课程内容的设计方式简单易懂，富有表现力，详尽，现场编码实用，充满测验，富含该领域的最先进和最新知识。

一、规模

确实，Scala 并不是最受欢迎的编码语言之一，但不要让这种轻微的不适困扰您。Scala 无疑是数据科学家和数据工程师最需要的技能之一。其原因并不难找到：具有 Scala 技能的专业人员的供应远远赶不上需求。

本课程中经过深思熟虑的测验和迷你项目将涵盖所有重要方面，它将使您的 Scala 学习之旅变得更加轻松。本课程包括 Hadoop 和 Spark 的概述以及 Scala Spark 的实践项目。在整个课程中，每一个理论解释都遵循实际实施。

本课程旨在反映您将在工作场所立即开始使用的最受欢迎的 Scala 技能。本课程中包含的 6 个迷你项目和 1 个 Scala Spark 项目是本课程的重要组成部分。这些项目为您提供了亲自尝试和犯错的实践机会。您有机会从所犯的错误中吸取教训。重要的是，很容易理解理论与实践之间可能存在的潜在差距。

Scala 是一种功能强大的语言，能够利用 Python 中的大部分功能，例如设计机器学习模型。您可以将这种高级语言用于各种应用程序，从 Web 应用程序到机器学习。

二. PySpark 和 AWS

大数据分析行业最热门的流行语是 Python 和 Apache Spark。PySpark 支持 Python 和 Apache Spark 的协作。在本课程中，您将从基础知识开始，然后继续进行高级数据分析。从清理数据到构建功能和实施机器学习 (ML) 模型，您将学习如何使用 PySpark 执行端到端工作流程。

在整个课程中，您将使用 PySpark 执行数据分析。您将探索 Spark RDD、Dataframe 和一些 Spark SQL 查询。此外，您还将探索可以使用 Spark RDD 和数据帧对数据执行的转换和操作。您还将探索 Spark 和 Hadoop 的生态系统及其底层架构。您将使用 Databricks 环境来运行 Spark 脚本并探索它。

最后，您将体验 Spark 与 AWS 云的结合。您将看到我们如何利用 AWS 存储、数据库、计算，以及 Spark 如何与不同的 AWS 服务通信并获取所需的数据。

由于本课程是所有基础知识的详细汇编，因此它将激励您快速进步并体验到比您所学到的更多的东西。在每个概念结束时，您将被分配家庭作业/任务/活动/测验以及解决方案。这是根据你之前学到的概念和方法来评估和促进你的学习。大多数这些活动都是基于编码的，因为目的是让您启动并运行实施。

三．从初学者到专业人士的数据抓取和数据挖掘

数据抓取是从互联网提取数据的技术。数据抓取用于获取不同网站和 API 上可用的数据。这还涉及自动化网络流程以从不同网页提取数据。

本课程是为初学者设计的。我们将花费足够的时间为新手打下坚实的基础。然后，我们将逐步深入并进行大量实际实现，其中每一步都会详细解释。

由于本课程本质上是所有基础知识的汇编，因此您将以稳定的速度前进。你将体验到比你所学到的更多的东西。在每个概念结束时，我们都会为您分配家庭作业/作业/活动/测验以及解决方案。他们将根据以前的数据抓取和数据挖掘概念和方法评估/（进一步构建）您的学习。大多数这些活动旨在帮助您启动并运行实施。

本课程包含的 4 个实践项目是本课程最重要的部分。这些项目允许您通过反复试验来亲自进行实验。你将从错误中吸取教训。重要的是，您将了解理论与实践之间可能存在的潜在差距。

数据抓取无疑是一个回报丰厚的职业，它可以让你解决一些最有趣的现实问题。您还将获得丰厚的薪资待遇。通过对数据抓取的核心理解，您可以调整您的工作技能并确保新兴的职业发展。

四．MongoDB

在本课程中，我们将介绍 MongoDB 的基础知识。我们将使用 MongoDB 来加深对 NoSQL 数据库的理解。我们将探讨 MongoDB 中的基本创建、读取、更新和删除操作。我们将详细探讨 MongoDB 查询运算符和项目运算符。接下来我们将了解 MongoDB 更新运算符。最后，我们将继续使用 Node 和 Python 来探索 MongoDB。我们将以两个项目结束本课程，其中包括 MongoDB 和 Djagno，其中我们将使用 Django 和 MongoDB 开发基于 CRUD 的应用程序，然后我们将使用 PySpark 实现 ETL 管道以将数据转储到 MongoDB 中。

本课程是为初学者设计的。我们将花费足够的时间为新手打下坚实的基础，他们将通过大量实际实现逐渐深入，其中每一步都会详细解释。

由于本课程是所有基础知识的汇编，因此它将鼓励您继续前进并体验比您所学到的更多的内容。在每个概念结束时，我们将为您分配家庭作业/任务/活动/测验以及解决方案，这些解决方案将根据之前的概念和方法评估/（进一步构建）您的学习。其中一些活动将基于编码，以帮助您启动并运行实施。

随着数据的增加，需要对其进行管理，不仅要管理它，还要从中获取有用的数据和见解，以进行业务分析和正确的决策，为此，公司正在积极寻找大数据工程师。大数据的主要问题是它是如此庞大，以至于使用常规数据分析技术无法对其进行分析。此外，由于物联网、SQL 数据库、NoSQL 数据库、社交媒体平台、销售点和流数据等数据源不断增加，甚至很难通过传统方法管理所有这些数据并对其进行分析，正如我刚才提到的，远远超出了这个范围。因此，我们需要新的技术和平台，不仅可以管理这些数据，还可以对其进行分析，而 MongoDB 支持所有这些。我们将了解和学习使用 MongoDB，简而言之，它是一个 NoSQL 数据库。所有这些技能都非常需要。

因此，事不宜迟，让我们开始学习本课程，并用等待着您的知识来拥抱自己。

1. Scala 的范围：
   1. 了解 Scala 中数据类型的变量。
   2. 了解 Scala 中的流控制以及控制流的不同方法。
   3. 了解 Scala 中的函数及其用法。
   4. 了解 Scala 中的类及其用法。
   5. 了解数据结构，即：列表、列表缓冲区、映射、集合和堆栈。
   6. 了解 Hadoop。
   7. 了解 Spark 的工作原理。
   8. 了解 Spark Rdds 和 Spark Dfs 之间的区别。
   9. 了解映射缩减。
   10. 使用 Spark 从 AWS S3 到 AWS RDS 的 ETL 管道。
2. PySpark 的范围：
   1. Spark / Hadoop 应用程序、生态系统和架构
   2. PySpark RDD
   3. PySpark RDD 转换
   4. PySpark RDD 操作
   5. PySpark 数据帧
   6. PySpark DataFrame 转换
   7. PySpark DataFrames 操作
   8. PySpark 中的协同过滤
   9. 火花流
   10. ETL管道
   11. CDC 和复制正在进行中
3. 数据抓取、数据挖掘的范围：
   1. Internet 浏览器执行以及与服务器的通信。
   2. 向服务器发出请求/从服务器发出响应。同步和异步
   3. 解析来自服务器的响应数据。
   4. 同步请求和异步请求之间的区别。
   5. 数据抓取工具简介：Requests、BS4、Scrapy 和 Selenium。
   6. 解释不同的概念，如 Python 请求模块、BS4 解析器功能、用于编写爬行网站和提取数据的蜘蛛的 Scrapy、用于理解网络流的自动化和控制等的 Selenium。
4. MongoDB 的范围：
   1. 了解 MongoDB CRUD、查询运算符、投影运算符、更新运算符
   2. 在Atlas上创建MongoDB集群
   3. 了解 MongoDB 和 Node
   4. MongoDB Atlas中使用Node进行CRUD操作
   5. 使用 Python 了解 MongoDB
   6. 在MongoDB Atlas中使用Python进行CRUD操作
   7. 使用 Django 了解 MongoDB
   8. 在MongoDB Atlas中使用Django进行CRUD操作
   9. 通过 Django 在 MongoDB 中构建用于 CRUD 操作的 API
   10. 使用 PySpark 了解 MongoDB

成功完成这门信息丰富的课程后，您将能够：

● 从头开始​​实施任何需要数据抓取、数据挖掘、Scala、PySpark、AWS 和 MongoDB 知识的项目。

● 将所学技术的概念和实践方面与现实世界的问题联系起来。

● 以最智能的方式从网站收集数据。

本课程适合谁：

● 完全是初学者的人。

● 想要制定智能解决方案的人。

● 想要通过真实数据学习的人。

● 热爱学习理论并付诸实践的人。

● 数据科学家、机器学习专家和直运商。