English | 简体中文
- 🥳 🚀 最新进展
- 📖 简介
- 🛠️ 安装
- 👨🏫 教程
- 📊 基准测试和模型库
- 🧰 基于 MMYOLO 开发的项目
- ❓ 常见问题
- 🙌 贡献指南
- 🤝 致谢
- 🖊️ 引用
- 🎫 开源许可证
- 🏗️ OpenMMLab 的其他项目
- ❤️ 欢迎加入 OpenMMLab 社区
🥳 🚀 最新进展 🔝
💎 v0.6.0 版本已经在 2023.8.15 发布:
- 支持 YOLOv5 实例分割
- 基于 MMPose 支持 YOLOX-Pose
- 添加 15 分钟的实例分割教程
- YOLOv5 支持使用 mask 标注来优化边界框
- 添加多尺度训练和测试文档
我们提供了实用的脚本命令速查表
你可以点击链接,下载高清版 PDF 文件。
同时我们也推出了解读视频:
内容 | 视频 | 课程中的代码 | |
---|---|---|---|
🌟 | 特征图可视化 | 特征图可视化.ipynb | |
🌟 | 源码阅读和调试「必备」技巧 | 源码阅读和调试「必备」技巧文档 | |
🌟 | 10分钟换遍主干网络 | 10分钟换遍主干网络文档 10分钟换遍主干网络.ipynb |
|
🌟 | 自定义数据集从标注到部署保姆级教程 | 自定义数据集从标注到部署保姆级教程 | |
🌟 | 顶会第一步 · 模块自定义 | 顶会第一步·模块自定义.ipynb |
完整视频列表请参考 中文解读资源汇总 - 视频
发布历史和更新细节请参考 更新日志
✨ 亮点 🔝
我们很高兴向大家介绍我们在实时目标识别任务方面的最新成果 RTMDet,包含了一系列的全卷积单阶段检测模型。 RTMDet 不仅在从 tiny 到 extra-large 尺寸的目标检测模型上实现了最佳的参数量和精度的平衡,而且在实时实例分割和旋转目标检测任务上取得了最先进的成果。 更多细节请参阅技术报告。 预训练模型可以在这里找到。
Task | Dataset | AP | FPS(TRT FP16 BS1 3090) |
---|---|---|---|
Object Detection | COCO | 52.8 | 322 |
Instance Segmentation | COCO | 44.6 | 188 |
Rotated Object Detection | DOTA | 78.9(single-scale)/81.3(multi-scale) | 121 |
MMYOLO 中目前实现了目标检测和旋转框目标检测算法,但是相比 MMDeteciton 版本有显著训练加速,训练速度相比原先版本提升 2.6 倍。
📖 简介 🔝
MMYOLO 是一个基于 PyTorch 和 MMDetection 的 YOLO 系列算法开源工具箱。它是 OpenMMLab 项目的一部分。
主要特性
-
🕹️ 统一便捷的算法评测
MMYOLO 统一了各类 YOLO 算法模块的实现, 并提供了统一的评测流程,用户可以公平便捷地进行对比分析。
-
📚 丰富的入门和进阶文档
MMYOLO 提供了从入门到部署到进阶和算法解析等一系列文档,方便不同用户快速上手和扩展。
-
🧩 模块化设计
MMYOLO 将框架解耦成不同的模块组件,通过组合不同的模块和训练测试策略,用户可以便捷地构建自定义模型。
P6 模型图详见 model_design.md。
🛠️ 安装 🔝
MMYOLO 依赖 PyTorch, MMCV, MMEngine 和 MMDetection,以下是安装的简要步骤。 更详细的安装指南请参考安装文档。
conda create -n mmyolo python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate mmyolo
pip install openmim
mim install "mmengine>=0.6.0"
mim install "mmcv>=2.0.0rc4,<2.1.0"
mim install "mmdet>=3.0.0,<4.0.0"
git clone https://github.com/open-mmlab/mmyolo.git
cd mmyolo
# Install albumentations
pip install -r requirements/albu.txt
# Install MMYOLO
mim install -v -e .
👨🏫 教程 🔝
MMYOLO 基于 MMDetection 开源库,并且采用相同的代码组织和设计方式。为了更好的使用本开源库,请先阅读 MMDetection 概述 对 MMDetection 进行初步地了解。
MMYOLO 用法和 MMDetection 几乎一致,所有教程都是通用的,你也可以了解 MMDetection 用户指南和进阶指南 。
针对和 MMDetection 不同的部分,我们也准备了用户指南和进阶指南,请阅读我们的 文档 。
推荐专题
常用功能
进阶教程
📊 基准测试和模型库 🔝
测试结果和模型可以在 模型库 中找到。
支持的任务
- 目标检测
- 旋转框目标检测
支持的数据集
- COCO Dataset
- VOC Dataset
- CrowdHuman Dataset
- DOTA 1.0 Dataset
Backbones | Necks | Loss | Common |
|
|
|
|
🧰 基于 MMYOLO 开发的项目 🔝
-
YOLO-MS 实时物体检测的多尺度表征学习
-
RSPrompter 基于视觉基础模型的遥感实例分割提示学习
-
EAEFNet 针对 RGB 热感知任务的显式注意力增强融合
-
CVPRW2023 Track 1: Multi-Camera People Tracking 利用锚点引导聚类和时空一致性 ID 重新分配增强多摄像头人员跟踪能力
-
EdgeLab Seeed Studio EdgeLab 是一个专注于嵌入式人工智能的开源项目。他们对 OpenMMLab 中的优秀算法进行了优化,使其适用于实际应用场景,并使实现过程更加友好,从而在嵌入式设备上实现更快、更准确的推理。
-
AX-Samples AX-Samples 由 爱芯元智 主导开发。该项目实现了常见的 深度学习开源算法 在 爱芯元智 的 AI SoC 上的示例代码,其中也包含了 MMYOLO 的相关示例。
-
PPQ ONNX Quantization Model Zoo OnnxQuant 是目前最大的模型量化数据集,它包含 ONNX 模型,数据,以及相关的测试脚本。 他们使用 MMYOLO 作为目标检测量化算法的基准测试。
❓ 常见问题 🔝
请参考 FAQ 了解其他用户的常见问题。
🙌 贡献指南 🔝
我们感谢所有的贡献者为改进和提升 MMYOLO 所作出的努力。我们将正在进行中的项目添加进了GitHub Projects页面,非常欢迎社区用户能参与进这些项目中来。请参考贡献指南来了解参与项目贡献的相关指引。
🤝 致谢 🔝
MMYOLO 是一款由来自不同高校和企业的研发人员共同参与贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者,以及提供宝贵反馈的用户。 我们希望这个工具箱和基准测试可以为社区提供灵活的代码工具,供用户复现已有算法并开发自己的新模型,从而不断为开源社区提供贡献。
🖊️ 引用 🔝
如果你觉得本项目对你的研究工作有所帮助,请参考如下 bibtex 引用 MMYOLO
@misc{mmyolo2022,
title={{MMYOLO: OpenMMLab YOLO} series toolbox and benchmark},
author={MMYOLO Contributors},
howpublished = {\url{https://github.com/open-mmlab/mmyolo}},
year={2022}
}
🎫 开源许可证 🔝
该项目采用 GPL 3.0 开源许可证。
🏗️ OpenMMLab 的其他项目 🔝
- MMEngine: OpenMMLab 深度学习模型训练基础库
- MMCV: OpenMMLab 计算机视觉基础库
- MMPreTrain: OpenMMLab 深度学习预训练工具箱
- MMagic: OpenMMLab 新一代人工智能内容生成(AIGC)工具箱
- MMDetection: OpenMMLab 目标检测工具箱
- MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
- MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
- MMYOLO: OpenMMLab YOLO 系列工具箱
- MMSegmentation: OpenMMLab 语义分割工具箱
- MMOCR: OpenMMLab 全流程文字检测识别理解工具包
- MMPose: OpenMMLab 姿态估计工具箱
- MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准
- MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
- MMRazor: OpenMMLab 模型压缩工具箱与测试基准
- MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
- MMAction2: OpenMMLab 新一代视频理解工具箱
- MMTracking: OpenMMLab 一体化视频目标感知平台
- MMFlow: OpenMMLab 光流估计工具箱与测试基准
- MMEditing: OpenMMLab 图像视频编辑工具箱
- MMGeneration: OpenMMLab 图片视频生成模型工具箱
- MMDeploy: OpenMMLab 模型部署框架
- MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
- MMEval: OpenMMLab 机器学习算法评测库
- Playground: 收集和展示 OpenMMLab 相关的前沿、有趣的社区项目
❤️ 欢迎加入 OpenMMLab 社区 🔝
扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号,加入 OpenMMLab 团队的 官方交流 QQ 群
我们会在 OpenMMLab 社区为大家
- 📢 分享 AI 框架的前沿核心技术
- 💻 解读 PyTorch 常用模块源码
- 📰 发布 OpenMMLab 的相关新闻
- 🚀 介绍 OpenMMLab 开发的前沿算法
- 🏃 获取更高效的问题答疑和意见反馈
- 🔥 提供与各行各业开发者充分交流的平台
干货满满 📘,等你来撩 💗,OpenMMLab 社区期待您的加入 👬