我在配置文件中 examples/diffusion/configs/svdquant/__default__.yaml 找到 quant.wgts.low_rank.rank 原始值是 32 ,我改成128之后,能够成功量化完成, 但是在使用nunchaku推理时,推理出图不对,我调试看模型的 metadata 的 quantization_config['rank']也是128了,需要怎么修改一下呢
我在配置文件中 examples/diffusion/configs/svdquant/default.yaml
找到 quant.wgts.low_rank.rank 原始值是 32 ,我改成128之后,能够成功量化完成,
但是在使用nunchaku推理时,推理出图不对,我调试看模型的 metadata 的 quantization_config['rank']也是128了,需要怎么修改一下呢