想请问下训练时input_emb的拼接问题

[czl66]

您好，我最近在基于您们开源的权重进行微调工作，效果还不错，我在看模型代码的时候，发现在forward的方法里，有如下令我产生疑惑的代码段：

[czl66]

if prompt_embeds is not None:
inputs_embeds_list.append(prompt_embeds)
attention_mask_list.append(prompt_mask)
target_list.append(prompt_target)
else:
utils_file.logging_limit_print(f'prompt is None,task: {batch["task"]}, prompt_embeds:{prompt_embeds}, prompt_mask:{prompt_mask}')
inputs_embeds_list.extend([speech_embeds, labels_embeds])
这里prompt_embeds，speech_embeds拼接我可以理解，为什么要将labels_embeds拼接进去呢，不是泄露答案了嘛，而且没有做shift呢

[czl66]

@ASLP-lab

[ASLP-lab]

你好，训练是需要将label的embedding传入LLM，然后LLM根据答案进行学习； shift是transformers库内部自动实现的；通过mask机制可以控制LLM进行因果学习，不会看到未来的信息。

[czl66]

那在测试的时候没有输入label的emb，效果不会差很多么，从结果上看好像并不会，这要怎么解释呢

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2025年8月21日(周四) 凌晨1:22 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [ASLP-lab/OSUM] 想请问下训练时input_emb的拼接问题 (Issue #35) ASLP-lab left a comment (ASLP-lab/OSUM#35) 你好，训练是需要将label的embedding传入LLM，然后LLM根据答案进行学习； shift是transformers库内部自动实现的；通过mask机制可以控制LLM进行因果学习，不会看到未来的信息。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[ASLP-lab]

训练的时候自然要把标准答案给模型来用于学习。推理的时候肯定是不需要给的。他们用的函数也不一样，一个是forward，一个是generate

[czl66]

抱歉，我可能没有表达清楚，这里指的label emb不是放在输入的位置么，我知道答案是放在labels那个传参那里来计算loss以监督学习，但如果输入部分也给了label，那不是模型直接复制就可以啦，不需要从声学emb中学习，不知道我理解有没问题哈，感谢您的回复！

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2025年8月21日(周四) 凌晨1:30 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [ASLP-lab/OSUM] 想请问下训练时input_emb的拼接问题 (Issue #35) ASLP-lab left a comment (ASLP-lab/OSUM#35) 训练的时候自然要把标准答案给模型来用于学习。推理的时候肯定是不需要给的。他们用的函数也不一样，一个是forward，一个是generate — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[ASLP-lab]

在forward函数中，label embedding所在的位置，就是在推理的时候的“输出位置”。forward中可以认为模型在模拟推理，label之前是输入位置，label是输出位置。。所以在generate中只输入非label部分即可，也就是“输入位置”

[ASLP-lab]

trnasformers库的forward接口不仅可以用labels这个参数表示答案，也可以采用我代码里那种先手动转embedding的方式，这样才可以和speech做更好的融合，在纯文本任务中，可以使用您提到的labels参数

[czl66]

好的谢谢您