Skip to content

Commit

Permalink
Update README.md
Browse files Browse the repository at this point in the history
  • Loading branch information
cgisky1980 committed Jul 23, 2023
1 parent e9935f4 commit b4f7161
Showing 1 changed file with 60 additions and 11 deletions.
71 changes: 60 additions & 11 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -42,41 +42,90 @@

1. 直接从 [Release](https://github.com/cgisky1980/ai00_rwkv_server/releases) 下载最新版本

2. [下载模型](https://huggingface.co/cgisky/RWKV-safetensors-fp16)后把模型放在`/assets/models/`路径,例如`/assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st`
2️. [下载模型](https://huggingface.co/cgisky/RWKV-safetensors-fp16)后把模型放在`/assets/models/`路径,例如`/assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st`

3. 在命令行运行
3️. 在命令行运行
```bash
$ ./ai00_rwkv_server --model /assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st
```

### 📜从源码编译

1. [安装Rust](https://www.rust-lang.org/)
1️. [安装Rust](https://www.rust-lang.org/)

2. 克隆本仓库
2️. 克隆本仓库
```bash
$ git clone https://github.com/cgisky1980/ai00_rwkv_serve.git
$ cd ai00_rwkv_serve
```

3. [下载模型](https://huggingface.co/cgisky/RWKV-safetensors-fp16)后把模型放在
3️. [下载模型](https://huggingface.co/cgisky/RWKV-safetensors-fp16)后把模型放在
`/assets/models/`路径下,例如`/assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st`

4. 编译
4️. 编译
```bash
$ cargo build --release
```

5. 编译完成后运行
5️. 编译完成后运行
```bash
$ cargo run --release -- --model /assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st
$ cargo run --release -- --model /assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st
```

### 📝支持的参数
- `--model` 模型路径
- `--port` 运行端口

## 目前可用的API

API 服务开启于 3000 端口
## 📙目前可用的API

API 服务开启于 3000 端口, 数据输入已经输出格式遵循Openai API 规范。

- `/v1/chat/completions`
- `/chat/completions`
- `/v1/completions`
- `/completions`
- `/completions`
- `/v1/embeddings`
- `/embeddings`

# 📝TODO List

- [x] 支持text_completions和chat_completions
- [x] 支持sse推送
- [x] 添加embeddings
- [ ] 集成基本的调用前端
- [ ] int8量化支持
- [ ] SpQR量化支持

# 👥Join Us

我们一直在寻找有兴趣帮助我们改进项目的人。如果你对以下任何一项感兴趣,请加入我们!

- 💀编写代码
- 💬提供反馈
- 🔆提出想法或需求
- 🔍测试新功能
- ✏翻译文档
- 📣推广项目
- 🏅其他任何会对我们有所帮助的事

无论你的技能水平如何,我们都欢迎你加入我们。你可以通过以下方式加入我们:

加入我们的 Discord 频道
加入我们的 QQ 群
在 GitHub 上提交问题或拉取请求
在我们的网站上留下反馈
我们迫不及待地想与你合作,让这个项目变得更好!

希望这对你有帮助!

# Thanks

- 感谢
[![cryscan](https://avatars.githubusercontent.com/u/16053640?s=64&v=4)](https://github.com/cryscan) 的辛勤付出,为项目做出了杰出的贡献。

- 感谢下面人员在项目初期的支持和无私奉献

[![顾真牛](https://avatars.githubusercontent.com/u/82481660?s=64&v=4)](https://github.com/cgisky1980) [![josStorer](https://avatars.githubusercontent.com/u/13366013?s=60&v=4)](https://github.com/josStorer)

我们很感激您的帮助,我们很高兴能与您合作。

0 comments on commit b4f7161

Please sign in to comment.