Apache Kafka – 实时流处理(大师班)
使用 Apache Kafka 和 Kafka Streams API 处理实时流 – 从初学者开始,到成为专业人士
学习内容:
* Apache Kafka 基础和 Kafka 架构
* 使用 Kafka Producer API 创建流
* 使用 Kafka Streams 库设计、开发和测试实时流处理应用
* Apache Kafka 中的 Kafka Streams 架构、Streams DSL、Processor API 和 Exactly Once 处理
* 从 JSON 模式定义自动生成 Java 对象,序列化、反序列化并处理无需 Schema Registry 的 JSON 消息
* 从 AVRO 模式定义自动生成 Java 对象,使用 Confluent Schema Registry 序列化、反序列化并处理 AVRO 消息
* 对 Kafka Streams 应用程序进行单元测试和集成测试
* 支持微服务架构,实现 Kafka Streams 交互式查询
课程内容主题:
* 课程前准备
* 实时流的引入
* Apache Kafka 世界探索
* 创建实时流
* 流处理入门
* 实时项目实现基础
* 状态与存储
* KTable
– 更新流
* 实时聚合
* 时间戳与窗口
* 其他章节(如状态管理、高级聚合等)
课程要求:
* 具备 Java 编程语言的编程知识
* 熟悉 Java 8 Lambda 表达式
* 配备 64 位 Windows/Mac/Linux 电脑,4 GB RAM(推荐 8 GB)
课程详细描述:
* 无需任何 Apache Kafka 先验知识,课程详细解释 Kafka 架构核心概念,帮助快速入门
* 课程基于作者同名书籍,适合软件工程师、数据架构师和数据工程师学习流处理应用开发
* 使用 Apache Kafka 2.x 版本,源码和示例基于 Apache Kafka 2.3 开源发行版,部分内容使用 Confluent 社区版演示 Schema Registry 和 Avro Serdes
* 开发工具采用 IntelliJ IDEA,构建工具使用 Apache Maven,日志框架为 Log4J2,单元测试使用 JUnit5
* 课程包含大量实例和编程练习,帮助学员将知识转化为实践能力,涵盖对象生成、序列化、聚合计算、窗口处理等核心技能
* 适用人群:希望使用 Kafka Streams 开发流处理应用的软件工程师、需构建数据基础设施的数据架构师、以及需管理 Kafka 项目的团队负责人





