cpp

PaddlePaddle模型C++部署

本目录下代码，目前支持以下飞桨官方套件基于PaddleInference的部署。

模型套件支持

• PaddleDetection(release/2.1)
• PaddleSeg(release/2.1)
• PaddleClas(release/2.1)
• PaddleX(release/2.0-rc)

硬件支持

• CPU(linux/windows)
• GPU(linux/windows)
• Jetson(TX2/Nano/Xavier)

文档

PaddleInference编译说明

• Linux编译(支持加密)指南
• Windows编译(支持加密)指南
• Jetson编译指南

模型部署说明

• PaddleX部署指南
• PaddleDetection部署指南
• PaddleSeg部署指南
• PaddleClas部署指南

模型预测示例

• 单卡加载模型预测示例
• 多卡加载模型预测示例
• PaddleInference集成TensorRT加载模型预测示例
• 模型加密预测示例

API说明

• 部署相关API说明
• 模型配置文件说明

ONNX模型部署

Paddle的模型除了直接通过PaddleInference部署外，还可以通过Paddle2ONNX转为ONNX后使用第三方推理引擎进行部署，在本目录下，我们提供了基于OpenVINO、Triton和TensorRT三个引擎的部署支持。

• OpenVINO部署
• Triton部署
• TensorRT部署