FirstQuantization

大模型量化入门教程
开启你的量化学习之旅，从这里开始！ 🚀

👋 喜欢本项目的话，可以点个赞支持一下作者！ 😄

---

📚 课程介绍

这是一个基于 conda + Jupyter 的量化入门案例，推荐使用 VSCode 进行开发和学习。

本教程将带你走进大模型量化的世界，内容涵盖量化的核心概念与实际应用，助你逐步掌握这一前沿技术。

已更新的课程内容：

0. 大模型量化简介（作者自制视频，持续更新中……）
1. 数据类型介绍
2. 对称量化
3. 非对称量化
4. 量化工具封装
5. 线性层量化
6. 【案例 1】语言模型量化
7. 【案例 2】目标识别模型量化

后期更新计划

课程内容将在未来版本中进一步扩展与优化，包括但不限于：

• 量化优化技术： 探讨混合精度量化、量化感知训练（QAT）等高级优化技巧。
• 量化工具包更新： 提供更多量化工具和自定义功能，简化开发者的工作流程。
• 新案例与应用： 扩展实际应用案例，如图像识别、语音识别和NLP模型的量化。
• 性能比较与优化： 对不同量化方法进行性能测试，比较量化前后的模型精度和推理速度。
• 社区互动与反馈： 收集社区反馈，不断优化教程内容，加入更多实用功能与细节。

欢迎关注本项目，提出你的建议与想法，参与到教程的后续更新中！🙏

---

💻 环境需求

# 克隆项目代码
git clone https://github.com/LeeWant/FirstQuantization.git  

# 创建并激活虚拟环境
conda create -n fquant python=3.10  
conda activate fquant  

# 进入目录
cd FirstQuantization

# 安装依赖
pip install -r requirement.txt

---

📖 参考资料

A Visual Guide to Quantization

Quantization Fundamentals

Quantization in Depth

---

🙏 感谢支持

感谢每一位支持和关注本项目的朋友！

License

This project is licensed under the MIT License - see the LICENSE file for details.