GenAI模型的量化

解锁模型优化的力量，学习如何用Python提升GenAI模型效率

学习内容：

* 掌握模型优化技术：剪枝、知识蒸馏和量化
* 了解FP32、FP16、BFloat16和INT8等数据类型的基础知识
* 掌握从FP32到BF16以及从FP32到INT8的向下转换方法
* 理解对称量化和非对称量化之间的区别
* 通过真实示例在Python中实现量化技术
* 应用量化使模型更高效、更易于部署
* 获得优化边缘设备和资源受限环境模型的实用技能

课程内容主题：

* 大型语言模型（LLM）
* 数据科学
* 开发

课程要求：

* 建议具备基础Python知识，无需任何AI经验

课程详细描述：

* 本课程适合希望优化和部署高效AI模型的开发者、数据科学家和机器学习爱好者。
* 学习如何通过量化技术使模型更快速、更节省资源，同时保持性能。
* 掌握FP32到BF16和INT8的转换方法，实现模型压缩。
* 实现对称和非对称量化技术，应用于实际场景。
* 学习将模型参数从FP32降至INT8，适配移动和物联网设备。
* 量化技术能显著减少模型大小和计算负荷，适用于智能手机、物联网设备等资源受限环境。
* 课程结合理论与实践，帮助学员在边缘设备上高效部署模型。
* 课程内容涵盖量化、剪枝、知识蒸馏等核心概念，适合初学者和AI专业人士。

B站免费课程

更多 软件编程 教程