GPU推理比CPU慢,是不是我使用有问题

[ZTFsmart]

在同样的模型加载后进行推理,GPU会比CPU慢很多,同一张图片循环遍历GPU的推理速度会提升,因为有缓存,但是不同的图片进行识别,GPU的推理速度明显慢,而且GPU的使用率已经到了100%
python3.7 使用flask提供接口
启动时先加载模型
model = ONNXPaddleOcr(use_angle_cls=True, use_gpu=True)

[jingsongliujing]

GPU版本的，建议你切换分支到master分支用v2版本的

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年7月25日(周四) 晚上7:19 收件人: ***@***.***>; 抄送: ***@***.***>; 主题: [jingsongliujing/OnnxOCR] GPU推理比CPU慢,是不是我使用有问题 (Issue #19) 在同样的模型加载后进行推理,GPU会比CPU慢很多,同一张图片循环遍历GPU的推理速度会提升,因为有缓存,但是不同的图片进行识别,GPU的推理速度明显慢,而且GPU的使用率已经到了100% python3.7 使用flask提供接口 启动时先加载模型 model = ONNXPaddleOcr(use_angle_cls=True, use_gpu=True) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[ZTFsmart]

GPU 版本的，建议您使用 v2 版本的将分支切换到 master 分支
…
---原始邮件---发件人: @.> 发送时间：2024年7月25日（周四）晚上7:19 美食：@.>; 抄送：@.>; 主题: [jingsonliujing/OnnxOCR] GPU推理比CPU慢，不是我使用有问题（问题#19）在同样的模型加载后进行推理，GPU会比CPU慢很多，同一张图片循环完成GPU的速度推理会提升，因为有缓存，但是不同的图片进行识别，GPU的推理速度明显慢，而且GPU的使用率已经到了100% python3.7 使用flask提供接口启动时先加载模型 model = ONNXPaddleOcr(use_angle_cls=True, use_gpu =True) — 直接回复此电子邮件、在 GitHub 上查看或取消订阅。您收到此消息是因为您订阅了此主题。消息 ID：@.>

使用了master分支,也用了v2的模型,GPU的推理速度还是比CPU慢,我的cuda版本11.4,onnxruntime版本为1.14.1
可能是什么原因导致的呢

[jingsongliujing]

建议参照这个cuda版本和onnxruntime对应：https://blog.csdn.net/qq_38308388/article/details/137679214 ，还有假如安装onnxruntime-gpu，就把onnxruntime卸载，不要同时存在于环境中

[DapperZhengLong]

建议参照这个cuda版本和onnxruntime对应：https://blog.csdn.net/qq_38308388/article/details/137679214 ，还有假如安装onnxruntime-gpu，就把onnxruntime卸载，不要同时存在于环境中

作者大大能否说一下你自己的版本么？我之前按照https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements的说明安装onnxruntime，测试几次gpu都比cpu慢

[icecraft]

同求

[jingsongliujing]

这个问题确实存在，还在排查，建议转成tensorrt吧，假如要用gpu的话

[zaixia108]

在同样的模型加载后进行推理,GPU会比CPU慢很多,同一张图片循环遍历GPU的推理速度会提升,因为有缓存,但是不同的图片进行识别,GPU的推理速度明显慢,而且GPU的使用率已经到了100% python3.7 使用flask提供接口 启动时先加载模型 model = ONNXPaddleOcr(use_angle_cls=True, use_gpu=True)

这个问题在官方版本的pponnx中就有，目前是没有解决，只能考虑转其他模型，或其他推理方式