编辑完的baichuan-13b该如何保存

[sichehu]

我save_pretrained()后的模型推理时有nan错误

[hiyouga]

Baichuan-13B 模型文件是否用 [1] 替换？

[1] https://github.com/hiyouga/LLaMA-Efficient-Tuning/blob/main/tests/modeling_baichuan.py

[sichehu]

Baichuan-13B 模型文件是否用 [1] 替换？

[1] https://github.com/hiyouga/LLaMA-Efficient-Tuning/blob/main/tests/modeling_baichuan.py

替换了之后确实可以进行推理了，不过模型的性能好像有点崩，回答

[maverick19910614]

我save_pretrained()后的模型推理时有nan错误

请问一下fastedit跑完之后直接就可以用吗