Skip to content

v0.8.1

Compare
Choose a tag to compare
@jerryli1981 jerryli1981 released this 26 Apr 08:00
· 1 commit to 4e7a765971c32a40874f27fa1eb860e3bbc30cff since this release
0ab8902

--添加LLama3,Mistral,Qwen1.5热门大模型在四种工具链模式上的11款Quick Starts。
--接入llama3模型同时支持Megatron-LM和Megatron Core。
--接入Qwen1.5 32B同时支持Megatron-LM和Megatron Core。
--接入MegaBlocks MoE训练流程。
--通过重新梳理整个训练流程,排查各个环节潜在出错并和HF进行精准对齐后继续预训练/微调效果优化取得进展。
--修复已知的Bugs。