diff --git a/README.md b/README.md index 886039ff..79484a98 100644 --- a/README.md +++ b/README.md @@ -97,14 +97,14 @@ QQ Group for communication: 30920262 * `--tokenizer`: Tokenizer path * `--port`: Running port * `--quant`: Specify the number of quantization layers -* `--adepter`: Adapter (GPU and backend) selection options +* `--adaptor`: Adapter (GPU and backend) selection options ### Example The server listens on port 3000, loads the full-layer quantized (32 > 24) 0.4B model, and selects adapter 0 (to get the specific adapter number, you can first not add this parameter, and the program will enter the adapter selection page). ```bash -$ cargo run --release -- --model assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st --port 3000 --quant 32 --adepter 0 +$ cargo run --release -- --model assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st --port 3000 --quant 32 --adaptor 0 ``` ## 📙Currently Available APIs diff --git a/README_jp.md b/README_jp.md index f9d2976e..f02cc667 100644 --- a/README_jp.md +++ b/README_jp.md @@ -95,14 +95,14 @@ OpenAIのChatGPT APIインターフェースと互換性があります。 * `--tokenizer`: トークナイザーのパス * `--port`: 実行ポート * `--quant`: 量子化レイヤーの数を指定 -* `--adepter`: アダプター(GPUおよびバックエンド)の選択オプション +* `--adaptor`: アダプター(GPUおよびバックエンド)の選択オプション ### 例 サーバーはポート3000でリッスンし、全レイヤー量子化(32 > 24)の0.4Bモデルをロードし、アダプター0を選択します(特定のアダプター番号を取得するには、最初にこのパラメーターを追加せず、プログラムがアダプター選択ページに入るまで待ちます)。 ```bash -$ cargo run --release -- --model assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st --port 3000 --quant 32 --adepter 0 +$ cargo run --release -- --model assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st --port 3000 --quant 32 --adaptor 0 ``` ## 📙現在利用可能なAPI diff --git a/README_zh.md b/README_zh.md index c025b8f5..18be4784 100644 --- a/README_zh.md +++ b/README_zh.md @@ -104,13 +104,13 @@ - `--tokenizer`: 词表路径 - `--port`: 运行端口 - `--quant`: 指定量化层数 -- `--adepter`: 适配器(GPU和后端)选择项 +- `--adaptor`: 适配器(GPU和后端)选择项 ### 示例 服务器监听3000端口,加载全部层量化(32 > 24)的0.4B模型,选择0号适配器(要查看具体适配器编号可以先不加该参数,程序会先进入选择页面)。 ```bash -$ cargo run --release -- --model assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st --port 3000 --quant 32 --adepter 0 +$ cargo run --release -- --model assets/models/RWKV-4-World-0.4B-v1-20230529-ctx4096.st --port 3000 --quant 32 --adaptor 0 ``` diff --git a/src/main.rs b/src/main.rs index aff69700..2beea7bd 100644 --- a/src/main.rs +++ b/src/main.rs @@ -351,7 +351,7 @@ fn model_task(model: Model, tokenizer: Tokenizer, receiver: Receiver, + adaptor: Option, #[arg(long, short, value_name = "FILE")] model: Option, #[arg(long, short, value_name = "FILE")] @@ -390,7 +390,7 @@ async fn main() -> Result<()> { ); let (sender, receiver) = flume::unbounded::(); - let env = create_environment(args.adepter).await?; + let env = create_environment(args.adaptor).await?; let tokenizer = load_tokenizer(&tokenizer_path)?; log::info!("{:#?}", env.adapter.get_info());