Skip to content

Commit

Permalink
Merge pull request #123 from shoumenchougou/lqq
Browse files Browse the repository at this point in the history
fix doc typo
  • Loading branch information
cgisky1980 authored May 24, 2024
2 parents 54b37eb + 23e6263 commit 24c6e4d
Show file tree
Hide file tree
Showing 3 changed files with 5 additions and 5 deletions.
4 changes: 2 additions & 2 deletions docs/Ai00-Features.md
Original file line number Diff line number Diff line change
Expand Up @@ -57,7 +57,7 @@ path = "rwkv-x060-chn_single_round_qa-7B-20240516-ctx2048.state" # state 文件

挂载 LoRA 模型和 State 的效果相似,也可以增强模型在某类任务上的表现。

### 如何挂载 State
### 如何挂载 LoRA 模型

可以在 `Config.toml` 文件配置中修改挂载 LoRA 模型的参数:
```
Expand All @@ -75,7 +75,7 @@ path = "assets/models/rwkv-x060-3b.lora" # LoRA 文件的路径

### 挂载 LoRA 模型注意事项

与挂载 state 相似,挂载 LoRA 文件时,必须使用与 LoRA 模型参数一致的基底 RWKV 模型。
与挂载 State 相似,挂载 LoRA 文件时,必须使用与 LoRA 模型参数一致的基底 RWKV 模型。

举个例子:这个 LoRA 文件是基于 `RWKV-6-World-3B` 模型微调而来,那么你在 Ai00 中必须启动 `RWKV-6-World-3B` 模型,挂载的 LoRA 模型才会生效。

Expand Down
2 changes: 1 addition & 1 deletion docs/FAQ.md
Original file line number Diff line number Diff line change
Expand Up @@ -23,7 +23,7 @@ A:这是因为设备缺少 vulkan 驱动,请安装最新版本驱动。

## AI00 支持 CUDA 驱动吗?

A:不支持。AI00 支持 Vulkan/Dx12/openGL 作为推理后端,但不支持 CUDA 驱动。
A:不支持。AI00 目前支持 Vulkan 作为推理后端,曾支持 Dx12/openGL ,但不支持 CUDA 驱动。

## 为什么我使用共享显存后感觉速度变慢了

Expand Down
4 changes: 2 additions & 2 deletions docs/index.md
Original file line number Diff line number Diff line change
Expand Up @@ -9,7 +9,7 @@ hero:
actions:
- theme: brand
text: 快速上手!
link: /markdown-examples
link: /Simple-Usage
- theme: alt
text: 下载安装
link: https://github.com/Ai00-X/ai00_server/releases
Expand All @@ -21,7 +21,7 @@ features:
- icon:
title: 容易使用
details:
- Ai00 server 支持 Vulkan/Dx12/openGL 作为推理后端,支持 INT8/NF4 量化,所以可以在绝大部分的个人电脑上快速的运行!支持大部分 NVIDIA、AMD、Inter 的显卡,包括集成显卡。7B 的 RWKV 模型 NF4 量化时仅占用 5.5G 显存。
- Ai00 server 支持 Vulkan 作为推理后端,支持 INT8/NF4 量化,所以可以在绝大部分的个人电脑上快速的运行!支持大部分 NVIDIA、AMD、Inter 的显卡,包括集成显卡。7B 的 RWKV 模型 NF4 量化时仅占用 5.5G 显存。
- icon:
title: 免费开源
details:
Expand Down

0 comments on commit 24c6e4d

Please sign in to comment.