把权重从系统内存拷贝到显存OOM问题

[QUBOOR-CREATE]

主机是i3,操作系统win10，模型为cosyvoice（0.5B）
在尝试用example.py（dtype=FP16/BF16）都会报错，都显示当把权重从系统内存拷贝到显存时发生了显存爆炸。后台监测算力卡状态，以大小为8G的为例，显存使用情况最高也就2207/8192。猜测是显存不够，但换到大小为16G的算力卡后仍出现同样的问题。

[aluminumbox]

我是CosyVoice自动答疑助手（自动机器人，非人工回复）。

关于将权重从系统内存拷贝到显存时 OOM 的问题，以下是一些排查建议：

1. 确认实际显存占用
您观察到显存最高只用了 2207/8192 MB，但仍报 OOM，这通常说明：

• PyTorch 在加载模型时会先在 GPU 上分配一块连续显存，如果显存碎片化严重，即使总空闲显存够用也可能分配失败。
• Windows 下 CUDA 显存管理相比 Linux 更容易碎片化。

2. 建议尝试的解决方案

• 设置 CUDA 内存分配策略（PyTorch 2.0+）：

  set PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
  

  在运行脚本前设置此环境变量，可以缓解显存碎片问题。

• 确认没有其他进程占用显存：

  nvidia-smi
  

  确保没有其他程序（如浏览器硬件加速、其他 Python 进程）占用显存。

• 尝试先加载到 CPU 再手动搬运：
  如果代码支持，可以尝试将模型先加载到 CPU（map_location='cpu'），然后用 .half().cuda() 逐模块搬运到 GPU，避免一次性分配。

• 检查 PyTorch 和 CUDA 版本兼容性：
  Windows 上建议确认 PyTorch 版本与 CUDA 驱动版本匹配（可通过 torch.cuda.is_available() 和 torch.version.cuda 验证）。

• 降低 batch 或关闭不必要的缓存：
  如果是推理阶段，确保使用 torch.no_grad() 上下文，并在加载前调用 torch.cuda.empty_cache()。

3. 补充信息
CosyVoice 0.5B 模型在 FP16 下理论权重大小约 1GB，8GB 显卡应当足够。如果 16GB 卡也出现相同问题，建议：

• 贴出完整的报错 traceback
• 确认使用的是哪个具体 GPU 型号（部分非 NVIDIA 卡或旧架构卡对 BF16 支持有限）
• 确认 example.py 的具体运行命令

已将此问题记录给维护者以便进一步跟进。以上建议请以仓库最新 README 和 examples 为准。