Llama 3 Inference from Scratch

这是一个用于学习 PyTorch、Transformer 和大模型推理流程的 Llama 3 推理复现项目。

已实现：

• Llama 3 tokenizer 与 ChatFormat
• RMSNorm
• RoPE
• GQA 多头注意力
• KV Cache
• SwiGLU FFN
• 权重加载
• 自回归生成
• 终端多轮对话

Model files

模型权重和 tokenizer 不包含在本仓库中。请根据 Meta Llama 3 许可证自行获取，并放置到：

assets/Meta-Llama-3-8B-Instruct/

Attribution

本项目参考：

• https://github.com/meta-llama/llama3
• https://github.com/henry0249/llama3-from-scratch-zh

Meta Llama 3 is licensed under the Meta Llama 3 Community License.