v0.8.3

--添加Qwen-2-Dense/MoE的Mcore实现的最佳实践。
--添加Qwen2系列模型增强型基于Mcore算子赋值技术的模型转换（逐算子逐层前向精度比对，转换浮点控制，支持算子拆分/专家并行/流水并行）
--优化Qwen-2-Dense/MoE的Loss收敛可靠性。
--优化DeepSeek-V2-MoE的收敛效果，支持模型并行的MLA的Loss收敛可靠性问题彻底解决。
--Qwen2的Tokenizer重构支持对接新版Mcore0.7.0。
--修复已知的Bugs。

v0.8.2

--添加Qwen-1.5-MoE的Mcore实现。
--添加DeepSeek-V2-MoE的Mcore实现。
--优化MoE的Quick Start使用教程
--修复已知的Bugs。

v0.8.1

--添加LLama3，Mistral，Qwen1.5热门大模型在四种工具链模式上的11款Quick Starts。
--接入llama3模型同时支持Megatron-LM和Megatron Core。
--接入Qwen1.5 32B同时支持Megatron-LM和Megatron Core。
--接入MegaBlocks MoE训练流程。
--通过重新梳理整个训练流程，排查各个环节潜在出错并和HF进行精准对齐后继续预训练/微调效果优化取得进展。
--修复已知的Bugs。

v0.8.0

‒ 添加qwen1.5模型的Megatron LM和Megatron-Core Transformer Engine实现。
‒ 完成Pai-Megatron-Patch工具基于Instruction Tuning的微调链路HFDS和Megatron引擎的下游任务效果对齐工作。
‒ 基于Megatron-Patch的工具实施的MoE-Upcycled算法取得阶段性成果。
‒ 修复已知的Bugs。

v0.7.2

‒ 添加lm-evaluation-harness工具用以评估大模型在中英文数据集上的效果。
‒ 优化Mixtral-MoE在upcycled情况下的收敛效果。
‒ 优化qwen模型的微调效果和huggingface效果对齐。
‒ 修复已知的Bugs。

v0.7.1

‒ 新增支持基于Megatron Core的MoE大模型训练。
‒ 修复已知的Bugs。

v0.7.0

‒ 新增支持训练混合专家模型Mixtral-8x7B。
‒ 新增支持训练多模态大模型通义千问-VL。
‒ 修复已知的Bugs。

v0.6.2

‒ 新增支持通义千问开源全家桶Qwen-7/14/72B的全链路工具链。
‒ 新增支持经典多模态大模型LLava的Megatron版本训练。
‒ 新增对零一万物Yi-6B，deepseek代码大模型的训练加速支持。
‒ 优化多模态训练加速：植入CV-CUDA图像预处理端到端性能提升6.1%。
‒ 优化HF和MG模型对齐ZeroShot评估效果，同时支持算子拆分和流水并行。
‒ 修复已知的Bugs。

v0.6.1

‒ 新增支持Mistral-7B模型
‒ 完善CodeLLama-34B的微调/预训练适配
‒ 添加对Group Query Attention在模型转换过程中的模型并行能力的支持
‒ 优化Data模块代码结构
‒ 修复已知的Bugs

v0.6.0

‒ 新增支持LLama2，Baichuan-2, 通义千问适配最新版的Megatron LM
‒ 新增支持LLama2，Baichuan-2, 通义千问离线推理和MG2HF模型转换
‒ 新增支持LLama2模型的ROPE和Megatron ROPE共存模式
‒ 新增支持LLama2，Baichuan-2, 通义千问开启Transformer Engine
‒ 新增支持通过git submodule功能来管理Patch和Megatron的版本匹配问题
‒ 修复已知的Bugs