大语言模型原理与机制深度解析（LLM）

从 Transformer 架构到机制可解释性的 90+ 小时系统实战课程

学习内容：

• 大语言模型（LLM）完整架构：Tokenization、Embedding、Decoder-only Transformer、GPT 与 BERT 对比
• Transformer 核心模块：自注意力机制、多头注意力、前馈网络、LayerNorm、残差连接
• 注意力机制数学原理：点积注意力、因果掩码、位置编码、概率采样
• 使用 PyTorch 从零构建并训练 Transformer 与 GPT 类模型
• LLM 预训练流程：损失函数、Adam / AdamW 优化器、权重初始化、正则化与数值稳定性
• 推理与生成策略：Greedy、Top-k、Top-p、Temperature、多项式采样
• 模型评估方法：Perplexity、HellaSwag、MAUVE、SuperGLUE、公平性与偏见分析
• 机制可解释性（Mechanistic Interpretability）：激活分析、注意力头分析、Logit Lens、SAE、因果干预
• 高维表示分析：PCA、t-SNE、DBSCAN、余弦相似度、RSA、互信息
• AI 安全与对齐：模型偏见、红队测试、因果干预、激活编辑

本课程包括：

• 91 小时以上高清视频课程（40 个章节，329 节课）
• 大量 CodeChallenge 编程练习（含完整参考解答）
• 完整 Python / PyTorch 实战代码
• 可下载课程代码与实验 Notebook
• 结课证书（Certificate of Completion）
• 支持手机、电视与桌面端学习

价格：$19.99

教程评分：4.8 / 5.0（9,500+ 学员，高评分畅销课程）

教程语言：英语

教程字幕：中英字幕

课程要求：

• 对人工智能与大语言模型有学习兴趣与动机
• 具备基础 Python 编程经验（非必须但推荐）
• 了解基础机器学习或深度学习概念更佳
• 具备基础线性代数与概率统计知识更佳

课程描述：

本课程是一门面向研究级与工程级学习者的大语言模型（LLM）系统课程，目标不是教你“如何调用 API”，
而是让你真正理解 ChatGPT、GPT-4、Claude、Gemini、LLaMA 等模型背后的数学原理与工程机制。

课程从最基础的文本 Tokenization 与 Embedding 出发，逐步构建完整的 Transformer 与 GPT 架构，
并通过大量 PyTorch 实战代码，带你亲手实现注意力机制、训练循环、推理策略与模型评估流程。

在此基础上，课程深入机制可解释性（Mechanistic Interpretability）与 AI 安全方向，
系统讲解如何“解剖”大语言模型内部结构，包括注意力头分析、神经元调谐、激活干预与因果分析，
帮助你真正理解模型为什么会产生某个输出。

完成本课程后，你将具备独立设计、训练、分析和评估 Transformer 语言模型的能力，
适用于 AI 工程、研究生学习、科研工作与高阶 NLP 实践。

B站免费课程

更多 人工智能 教程