推理就是在训练好的模型结构和参数基础上,执行前向传播得到模型输出的过程。相对于训练而言,推理不涉及梯度和损失优化。推理的最终目标是将训练好的模型部署生产环境中,真正让 AI 能够运用起来。推理引擎可以将深度学习模型部署到云(Cloud)端或者边缘(Edge)端,并服务用户的请求。模型训练过程好比是传统软件工程中的代码开发的过程,而开发完的代码势必要打包,部署给用户使用,那么推理系统就负责应对模型部署的生命周期中遇到的挑战和问题。
希望这个系列能够给大家、朋友们带来一些些帮助,也希望自己能够继续坚持完成所有内容哈!
内容大纲
PPT
和字幕
需要到 Github 下载,网页课程版链接会失效哦~建议优先下载 PDF 版本,PPT 版本会因为字体缺失等原因导致版本很丑哦~
大纲 | 小节 | 链接 |
---|---|---|
推理系统 | 01 内容介绍 | PPT, 视频 |
推理系统 | 02 什么是推理系统 | PPT, 视频 |
推理系统 | 03 推理流程全景 | PPT, 视频 |
推理系统 | 04 推理系统架构 | PPT, 视频 |
推理系统 | 05(上) 推理引擎架构 | PPT, 视频 |
推理系统 | 05(下) 推理引擎架构 | PPT, 视频 |
文字课程内容正在一节节补充更新,每晚会抽空继续更新正在 AISys ,希望您多多鼓励和参与进来!!!
文字课程开源在 AISys,系列视频托管B站和油管,PPT开源在github,欢迎取用!!!
非常希望您也参与到这个开源项目中,B站给ZOMI留言哦!
欢迎大家使用的过程中发现bug或者勘误直接提交代码PR到开源社区哦!
希望这个系列能够给大家、朋友们带来一些些帮助,也希望自己能够继续坚持完成所有内容哈!