v0.6.0

‒ 新增支持LLama2，Baichuan-2, 通义千问适配最新版的Megatron LM
‒ 新增支持LLama2，Baichuan-2, 通义千问离线推理和MG2HF模型转换
‒ 新增支持LLama2模型的ROPE和Megatron ROPE共存模式
‒ 新增支持LLama2，Baichuan-2, 通义千问开启Transformer Engine
‒ 新增支持通过git submodule功能来管理Patch和Megatron的版本匹配问题
‒ 修复已知的Bugs

v0.5.2

‒ 增加通义千问14B的运行脚本
‒ 增加通义千问7/14B的megatron to huggingface模型转换脚本
‒ 增加百川-2的实现，支持zloss和NormHead
‒ 修复TP>1时，百川2-13B模型使用Alibi Mask时，loss无法对齐的问题
‒ 修复已知的issues&bugs

v0.5.1

‒ 增加百川-1的megatron to hugginface实现
‒ 增加llama模型的FusedRMSNorm实现
‒ 增加gpt3-llama模型的FuseRMSNorm实现
‒ 增加gpt3-llama模型接入Transformer Engine的转换脚本
‒ llama和gpt3-llama的hf2mg convertor取消了laynorm bias随机初始化
‒ 修复部分已知的Bugs

initial submission

initial submission