1
- # News:新课发布,《动手自制大模型推理框架》,全手写cuda算子,课程框架支持LLama2和3.x
2
- Hi,各位朋友们好!我是 KuiperInfer 的作者。KuiperInfer 作为一门开源课程,迄今已经在 GitHub 上已斩获 2.4k star。
3
- 如今在原课程的基础上,** 我们全新推出了《动手自制大模型推理框架》, 新课程支持Llama系列大模型(包括最新的LLama3.2),同时支持 Cuda 加速和 Int8 量化** ,自推出以来便广受好评。
1
+ # News:新课发布,《动手自制大模型推理框架》,全手写cuda算子,课程框架支持LLama2和3.x以及Qwen2.5模型
4
2
5
- ## 《动手自制大模型推理框架》课程目录:
3
+ Hi,各位朋友们好!我是 KuiperInfer 的作者。KuiperInfer 作为一门开源课程,迄今已经在 GitHub 上已斩获 2.5k star。
4
+ 如今在原课程的基础上,** 我们全新推出了《动手自制大模型推理框架》, 新课程支持Llama系列大模型(包括最新的LLama3.2)以及Qwen2.5系列大模型,同时支持 Cuda 加速和 Int8 量化** ,自推出以来便广受好评。
6
5
6
+ ## 《动手自制大模型推理框架》课程目录:
7
7
https://l0kzvikuq0w.feishu.cn/docx/ZF2hd0xfAoaXqaxcpn2c5oHAnBc
8
+ ## 《动手自制大模型推理框架》课程优势
9
+
10
+ 1 . 采用最新的C++ 20标准去写代码,统一、美观的代码风格,良好的错误处理;
11
+ 2 . 优秀的项目管理形式,我们采用CMake+Git的方式管理项目,接轨大厂;
12
+ 3 . 授人以渔,教大家怎么设计一个现代C++项目,同时教大家怎么用单元测试和Benchmark去测试验证自己的项目;
13
+ 4 . CPU算子和CUDA双后端实现,对时新的大模型(LLama3和Qwen系列)有非常好的支持。
8
14
9
- ** 如果你对大模型推理感兴趣,想要深入了解并掌握相关技术,那么这门课程绝对不容错过。快来加入我们,一起开启学习之旅吧!
15
+
16
+ ** 如果你对大模型推理感兴趣,想要深入了解并掌握相关技术,想在校招、秋招面试当中脱颖而出,那么这门《动手自制大模型推理框架》课程绝对不容错过。快来加入我们,一起开启学习之旅吧!
10
17
感兴趣的同学欢迎扫一扫课程下方二维码或者添加微信 lyrry1997 参加课程**
11
18
12
19
<img src =" imgs/me.jpg " />
13
20
14
21
15
22
23
+ ## 《动手自制大模型推理框架》课程项目运行效果
24
+ > LLama1.1b fp32模型,视频无加速,运行平台为Nvidia 3060 laptop,速度为60.34 token/s
25
+
26
+ ![ ] ( ./imgs/do.gif )
27
+
28
+
29
+
16
30
# KuiperInfer (自制深度学习推理框架)
17
31
![ ] ( https://github.com/zjhellofss/kuiperinfer/actions/workflows/cmake.yml/badge.svg )
18
32
@@ -29,15 +43,8 @@ https://l0kzvikuq0w.feishu.cn/docx/ZF2hd0xfAoaXqaxcpn2c5oHAnBc
29
43
30
44
** 视频课程链接:** [ https://space.bilibili.com/1822828582 ] ( https://space.bilibili.com/1822828582 )
31
45
32
- ## 对llama的支持
33
- > 我们将[ llama.c] ( https://github.com/karpathy/llama2.c ) 中的算子替换为了KuiperInfer中的实现
34
-
35
- [ 模型下载链接] ( https://pan.baidu.com/s/1PF5KqvIvNFR8yDIY1HmTYA?pwd=ma8r ) 下载后替换到demos/llama2/main.cpp中
36
-
37
-
38
- ![ a.gif] ( imgs/a.gif )
39
46
40
- ## 第二次课程大纲
47
+ ## 课程大纲
41
48
42
49
第二次课程是第一次课程的重置版,内容更加充实和完善,第一次课程大纲见下方章节。
43
50
@@ -114,6 +121,7 @@ https://l0kzvikuq0w.feishu.cn/docx/ZF2hd0xfAoaXqaxcpn2c5oHAnBc
114
121
- [ PerrySkywalker] ( https://github.com/PerrySkywalker )
115
122
- [ delve-wang] ( https://github.com/delve-wang )
116
123
- [ z-learner] ( https://github.com/z-learner )
124
+ - [ Meihongtao] ( https://github.com/Meihongtao )
117
125
118
126
### 如何参与项目贡献?
119
127
1 . 提交代码增加新功能或修改bug;
0 commit comments