Skip to content

v0.8.3

Latest
Compare
Choose a tag to compare
@jerryli1981 jerryli1981 released this 28 Jun 03:30
· 2 commits to main since this release
0ac48a0

--添加Qwen-2-Dense/MoE的Mcore实现的最佳实践。
--添加Qwen2系列模型增强型基于Mcore算子赋值技术的模型转换(逐算子逐层前向精度比对,转换浮点控制,支持算子拆分/专家并行/流水并行)
--优化Qwen-2-Dense/MoE的Loss收敛可靠性。
--优化DeepSeek-V2-MoE的收敛效果,支持模型并行的MLA的Loss收敛可靠性问题彻底解决。
--Qwen2的Tokenizer重构支持对接新版Mcore0.7.0。
--修复已知的Bugs。