Skip to content

Commit f9a194e

Browse files
authored
Merge pull request #69 from zjhellofss/zjhellofss-patch-5-1
Update README.md
2 parents 02faf58 + a399c31 commit f9a194e

File tree

1 file changed

+21
-13
lines changed

1 file changed

+21
-13
lines changed

README.md

Lines changed: 21 additions & 13 deletions
Original file line numberDiff line numberDiff line change
@@ -1,18 +1,32 @@
1-
# News:新课发布,《动手自制大模型推理框架》,全手写cuda算子,课程框架支持LLama2和3.x
2-
Hi,各位朋友们好!我是 KuiperInfer 的作者。KuiperInfer 作为一门开源课程,迄今已经在 GitHub 上已斩获 2.4k star。
3-
如今在原课程的基础上,**我们全新推出了《动手自制大模型推理框架》, 新课程支持Llama系列大模型(包括最新的LLama3.2),同时支持 Cuda 加速和 Int8 量化**,自推出以来便广受好评。
1+
# News:新课发布,《动手自制大模型推理框架》,全手写cuda算子,课程框架支持LLama2和3.x以及Qwen2.5模型
42

5-
## 《动手自制大模型推理框架》课程目录:
3+
Hi,各位朋友们好!我是 KuiperInfer 的作者。KuiperInfer 作为一门开源课程,迄今已经在 GitHub 上已斩获 2.5k star。
4+
如今在原课程的基础上,**我们全新推出了《动手自制大模型推理框架》, 新课程支持Llama系列大模型(包括最新的LLama3.2)以及Qwen2.5系列大模型,同时支持 Cuda 加速和 Int8 量化**,自推出以来便广受好评。
65

6+
## 《动手自制大模型推理框架》课程目录:
77
https://l0kzvikuq0w.feishu.cn/docx/ZF2hd0xfAoaXqaxcpn2c5oHAnBc
8+
## 《动手自制大模型推理框架》课程优势
9+
10+
1. 采用最新的C++ 20标准去写代码,统一、美观的代码风格,良好的错误处理;
11+
2. 优秀的项目管理形式,我们采用CMake+Git的方式管理项目,接轨大厂;
12+
3. 授人以渔,教大家怎么设计一个现代C++项目,同时教大家怎么用单元测试和Benchmark去测试验证自己的项目;
13+
4. CPU算子和CUDA双后端实现,对时新的大模型(LLama3和Qwen系列)有非常好的支持。
814

9-
**如果你对大模型推理感兴趣,想要深入了解并掌握相关技术,那么这门课程绝对不容错过。快来加入我们,一起开启学习之旅吧!
15+
16+
**如果你对大模型推理感兴趣,想要深入了解并掌握相关技术,想在校招、秋招面试当中脱颖而出,那么这门《动手自制大模型推理框架》课程绝对不容错过。快来加入我们,一起开启学习之旅吧!
1017
感兴趣的同学欢迎扫一扫课程下方二维码或者添加微信 lyrry1997 参加课程**
1118

1219
<img src="imgs/me.jpg" />
1320

1421

1522

23+
## 《动手自制大模型推理框架》课程项目运行效果
24+
> LLama1.1b fp32模型,视频无加速,运行平台为Nvidia 3060 laptop,速度为60.34 token/s
25+
26+
![](./imgs/do.gif)
27+
28+
29+
1630
# KuiperInfer (自制深度学习推理框架)
1731
![](https://github.com/zjhellofss/kuiperinfer/actions/workflows/cmake.yml/badge.svg)
1832

@@ -29,15 +43,8 @@ https://l0kzvikuq0w.feishu.cn/docx/ZF2hd0xfAoaXqaxcpn2c5oHAnBc
2943

3044
**视频课程链接:**[https://space.bilibili.com/1822828582](https://space.bilibili.com/1822828582)
3145

32-
## 对llama的支持
33-
> 我们将[llama.c](https://github.com/karpathy/llama2.c )中的算子替换为了KuiperInfer中的实现
34-
35-
[模型下载链接](https://pan.baidu.com/s/1PF5KqvIvNFR8yDIY1HmTYA?pwd=ma8r ) 下载后替换到demos/llama2/main.cpp中
36-
37-
38-
![a.gif](imgs/a.gif)
3946

40-
## 第二次课程大纲
47+
## 课程大纲
4148

4249
第二次课程是第一次课程的重置版,内容更加充实和完善,第一次课程大纲见下方章节。
4350

@@ -114,6 +121,7 @@ https://l0kzvikuq0w.feishu.cn/docx/ZF2hd0xfAoaXqaxcpn2c5oHAnBc
114121
- [PerrySkywalker](https://github.com/PerrySkywalker)
115122
- [delve-wang](https://github.com/delve-wang)
116123
- [z-learner](https://github.com/z-learner)
124+
- [Meihongtao](https://github.com/Meihongtao)
117125

118126
### 如何参与项目贡献?
119127
1. 提交代码增加新功能或修改bug;

0 commit comments

Comments
 (0)