README_zh-CN.md

 

OpenMMLab 官网 ^HOT      OpenMMLab 开放平台 ^{TRY IT OUT}

 

English | 简体中文

介绍

MMDeploy 是 OpenMMLab 模型部署工具箱，为各算法库提供统一的部署体验。基于 MMDeploy，开发者可以轻松从训练 repo 生成指定硬件所需 SDK，省去大量适配时间。

架构简析

特性简介

支持超多 OpenMMLab 算法库

• mmcls
• mmdet
• mmseg
• mmedit
• mmocr
• mmpose
• mmdet3d
• mmrotate
• mmaction2

支持多种推理后端

支持的设备平台和推理引擎如下表所示。benchmark请参考这里

Device / Platform	Linux	Windows	macOS	Android
x86_64 CPU	ONNXRuntime pplnn ncnn LibTorch OpenVINO TVM	ONNXRuntime OpenVINO	-	-
ARM CPU	ncnn	-	-	ncnn
RISC-V	ncnn	-	-	-
NVIDIA GPU	ONNXRuntime TensorRT pplnn LibTorch TVM	ONNXRuntime TensorRT pplnn	-	-
NVIDIA Jetson	TensorRT	-	-	-
Huawei ascend310	CANN	-	-	-
Rockchip	RKNN	-	-	-
Apple M1	-	-	CoreML	-
Adreno GPU	-	-	-	SNPE ncnn
Hexagon DSP	-	-	-	SNPE

                                                     |

SDK 可高度定制化

• Transform 数据预处理
• Net 推理
• Module 后处理

中文文档

• 快速上手
• 编译
  • 一键式脚本安装
  • Build from Docker
  • Build for Linux
  • Build for Windows
  • Build for macOS
  • Build for Win10
  • Build for Android
  • Build for Jetson
  • Build for SNPE
  • Build for Rockchip
  • Cross Build for aarch64
• 使用
  • 把模型转换到推理 Backend
  • 配置转换参数
  • 量化
  • 测试转换完成的模型
  • 工具集介绍
• 开发指南
  • 软件架构
  • 支持新模型
  • 增加推理 backend
  • 模型分块
  • 测试重写模型
  • backend 算子测试
  • 回归测试
• 各 backend 自定义算子列表
  • ncnn
  • onnxruntime
  • tensorrt
• FAQ
• 贡献者手册

新人解说

• 01 术语解释、加载第一个模型
• 02 部署常见问题
• 03 torch转onnx
• 04 让torch支持更多onnx算子
• 05 调试onnx模型

基准与模型库

基准和支持的模型列表可以在基准和模型列表中获得。

贡献指南

我们感谢所有的贡献者为改进和提升 MMDeploy 所作出的努力。请参考贡献指南来了解参与项目贡献的相关指引。

致谢

• OpenPPL: 高性能推理框架底层库
• OpenVINO: AI 推理优化和部署框架
• ncnn: 为手机端极致优化的高性能神经网络前向计算框架

引用

如果您在研究中使用了本项目的代码或者性能基准，请参考如下 bibtex 引用 MMDeploy:

@misc{=mmdeploy,
    title={OpenMMLab's Model Deployment Toolbox.},
    author={MMDeploy Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmdeploy}},
    year={2021}
}

开源许可证

该项目采用 Apache 2.0 开源许可证。

OpenMMLab 的其他项目

• MMCV: OpenMMLab 计算机视觉基础库
• MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
• MMClassification: OpenMMLab 图像分类工具箱
• MMDetection: OpenMMLab 目标检测工具箱
• MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
• MMYOLO: OpenMMLab YOLO 系列工具箱和基准测试
• MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
• MMSegmentation: OpenMMLab 语义分割工具箱
• MMOCR: OpenMMLab 全流程文字检测识别理解工具包
• MMPose: OpenMMLab 姿态估计工具箱
• MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准
• MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
• MMRazor: OpenMMLab 模型压缩工具箱与测试基准
• MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
• MMAction2: OpenMMLab 新一代视频理解工具箱
• MMTracking: OpenMMLab 一体化视频目标感知平台
• MMFlow: OpenMMLab 光流估计工具箱与测试基准
• MMEditing: OpenMMLab 图像视频编辑工具箱
• MMGeneration: OpenMMLab 图片视频生成模型工具箱
• MMDeploy: OpenMMLab 模型部署框架

欢迎加入 OpenMMLab 社区

扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号，加入 OpenMMLab 团队的 官方交流 QQ 群，或添加微信小助手”OpenMMLabwx“加入官方交流微信群。

我们会在 OpenMMLab 社区为大家

• 📢 分享 AI 框架的前沿核心技术
• 💻 解读 PyTorch 常用模块源码
• 📰 发布 OpenMMLab 的相关新闻
• 🚀 介绍 OpenMMLab 开发的前沿算法
• 🏃 获取更高效的问题答疑和意见反馈
• 🔥 提供与各行各业开发者充分交流的平台

干货满满 📘，等您来撩 💗，OpenMMLab 社区期待您的加入 👬