diff --git a/docs/Ai00-Features.md b/docs/Ai00-Features.md index 1ce8c93e..62522fed 100644 --- a/docs/Ai00-Features.md +++ b/docs/Ai00-Features.md @@ -57,7 +57,7 @@ path = "rwkv-x060-chn_single_round_qa-7B-20240516-ctx2048.state" # state 文件 挂载 LoRA 模型和 State 的效果相似,也可以增强模型在某类任务上的表现。 -### 如何挂载 State ? +### 如何挂载 LoRA 模型 ? 可以在 `Config.toml` 文件配置中修改挂载 LoRA 模型的参数: ``` @@ -75,7 +75,7 @@ path = "assets/models/rwkv-x060-3b.lora" # LoRA 文件的路径 ### 挂载 LoRA 模型注意事项 -与挂载 state 相似,挂载 LoRA 文件时,必须使用与 LoRA 模型参数一致的基底 RWKV 模型。 +与挂载 State 相似,挂载 LoRA 文件时,必须使用与 LoRA 模型参数一致的基底 RWKV 模型。 举个例子:这个 LoRA 文件是基于 `RWKV-6-World-3B` 模型微调而来,那么你在 Ai00 中必须启动 `RWKV-6-World-3B` 模型,挂载的 LoRA 模型才会生效。 diff --git a/docs/FAQ.md b/docs/FAQ.md index b3805c6a..b3a8e33b 100644 --- a/docs/FAQ.md +++ b/docs/FAQ.md @@ -23,7 +23,7 @@ A:这是因为设备缺少 vulkan 驱动,请安装最新版本驱动。 ## AI00 支持 CUDA 驱动吗? -A:不支持。AI00 支持 Vulkan/Dx12/openGL 作为推理后端,但不支持 CUDA 驱动。 +A:不支持。AI00 目前支持 Vulkan 作为推理后端,曾支持 Dx12/openGL ,但不支持 CUDA 驱动。 ## 为什么我使用共享显存后感觉速度变慢了 diff --git a/docs/index.md b/docs/index.md index 57448565..ed9a5e63 100644 --- a/docs/index.md +++ b/docs/index.md @@ -9,7 +9,7 @@ hero: actions: - theme: brand text: 快速上手! - link: /markdown-examples + link: /Simple-Usage - theme: alt text: 下载安装 link: https://github.com/Ai00-X/ai00_server/releases @@ -21,7 +21,7 @@ features: - icon: ❤ title: 容易使用 details: - - Ai00 server 支持 Vulkan/Dx12/openGL 作为推理后端,支持 INT8/NF4 量化,所以可以在绝大部分的个人电脑上快速的运行!支持大部分 NVIDIA、AMD、Inter 的显卡,包括集成显卡。7B 的 RWKV 模型 NF4 量化时仅占用 5.5G 显存。 + - Ai00 server 支持 Vulkan 作为推理后端,支持 INT8/NF4 量化,所以可以在绝大部分的个人电脑上快速的运行!支持大部分 NVIDIA、AMD、Inter 的显卡,包括集成显卡。7B 的 RWKV 模型 NF4 量化时仅占用 5.5G 显存。 - icon: ✨ title: 免费开源 details: