Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

fix doc typo #123

Merged
merged 1 commit into from
May 24, 2024
Merged

fix doc typo #123

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 2 additions & 2 deletions docs/Ai00-Features.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -57,7 +57,7 @@ path = "rwkv-x060-chn_single_round_qa-7B-20240516-ctx2048.state" # state 文件

挂载 LoRA 模型和 State 的效果相似，也可以增强模型在某类任务上的表现。

### 如何挂载 State ？
### 如何挂载 LoRA 模型 ？

可以在 `Config.toml` 文件配置中修改挂载 LoRA 模型的参数：
```
Expand All @@ -75,7 +75,7 @@ path = "assets/models/rwkv-x060-3b.lora" # LoRA 文件的路径

### 挂载 LoRA 模型注意事项

与挂载 state 相似，挂载 LoRA 文件时，必须使用与 LoRA 模型参数一致的基底 RWKV 模型。
与挂载 State 相似，挂载 LoRA 文件时，必须使用与 LoRA 模型参数一致的基底 RWKV 模型。

举个例子：这个 LoRA 文件是基于 `RWKV-6-World-3B` 模型微调而来，那么你在 Ai00 中必须启动 `RWKV-6-World-3B` 模型，挂载的 LoRA 模型才会生效。

Expand Down
2 changes: 1 addition & 1 deletion docs/FAQ.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -23,7 +23,7 @@ A：这是因为设备缺少 vulkan 驱动，请安装最新版本驱动。

## AI00 支持 CUDA 驱动吗?

A：不支持。AI00 支持 Vulkan/Dx12/openGL 作为推理后端，但不支持 CUDA 驱动。
A：不支持。AI00 目前支持 Vulkan 作为推理后端，曾支持 Dx12/openGL ，但不支持 CUDA 驱动。

## 为什么我使用共享显存后感觉速度变慢了

Expand Down
4 changes: 2 additions & 2 deletions docs/index.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -9,7 +9,7 @@ hero:
actions:
- theme: brand
text: 快速上手！
link: /markdown-examples
link: /Simple-Usage
- theme: alt
text: 下载安装
link: https://github.com/Ai00-X/ai00_server/releases
Expand All @@ -21,7 +21,7 @@ features:
- icon: ❤
title: 容易使用
details:
- Ai00 server 支持 Vulkan/Dx12/openGL 作为推理后端，支持 INT8/NF4 量化，所以可以在绝大部分的个人电脑上快速的运行！支持大部分 NVIDIA、AMD、Inter 的显卡，包括集成显卡。7B 的 RWKV 模型 NF4 量化时仅占用 5.5G 显存。
- Ai00 server 支持 Vulkan 作为推理后端，支持 INT8/NF4 量化，所以可以在绝大部分的个人电脑上快速的运行！支持大部分 NVIDIA、AMD、Inter 的显卡，包括集成显卡。7B 的 RWKV 模型 NF4 量化时仅占用 5.5G 显存。
- icon: ✨
title: 免费开源
details:
Expand Down
Loading