单卡80G 微调 OOM

[Mors20]

你好，请问一下，单卡A800 80G，在微调OSUM, deepseed.initialize时报OOM

    model, optimizer, _, scheduler = deepspeed.initialize(
        args=args,
        model=model,
        optimizer=optimizer,
        lr_scheduler=scheduler,
        model_parameters=model.parameters())

Zero的配置用的是config/ds_stage2.json, 完全按照run_huawei_2p_master.sh原本的配置来的

请问这是为什么？非常感谢！

[ASLP-lab]

感谢您的使用！我怀疑是如下原因：代码中由于中间的一些更新引入了一个 bug，并在 2 周前发现更正，LLM 的数据类型应该为 torch.bfloat16, 有段时间的代码未明确设置为 bf16,而是是用了默认的 fp32,修正提交在： ffae1b5#diff-3aca8a1d4cee913a153566dccbc2c238a4691bb31f41e8f1dd6909b4eb84f515 中的 llmasr_model.py部分

[Mors20]

非常感谢，确实是这个导致的。现在我有一个新的问题想要请教您，我微调模型后，模型在进行单样本推理时可以获得很好的结果，感谢！但是我为了更高效的进行实验，我尝试了Batch inference (我完全理解为了稳定性，目前OSUM没有实现这一部分)。当我直接进行batch inference时，有一个报错，排查下来是因为pad_token_id被设为-100，这会导致embedding索引存在问题。于是我把pad_token_id设置为和eos_token_id一样的值，代码可以正常运行，但是batch inference的结果和单样本推理的结果存在很大的差异，您给的任何建议我都会非常感谢！！（代码如下：

···
outputs = self.llama_model.generate(
inputs_embeds=embeds,
max_new_tokens=self.max_length,
num_beams=self.num_beams,
do_sample=self.do_sample,
min_length=self.min_length,
top_p=self.top_p,
top_k=self.top_k,
repetition_penalty=self.repetition_penalty,
length_penalty=self.length_penalty,
temperature=self.temperature,
attention_mask=atts,
eos_token_id=151643,
pad_token_id=-100,
)
···

[gengxuelong]

你好,这个现象是合理的, 基于LLM的语音模型,batch infer的稳定性往往不如单条infer, 可以试试把语音长度相似的组成一个batch,这有利于促进稳定性,同时确保attention mask进行了正确的sequence mask(需要将输入pad的部分设置为false)