v0.22.0
-
新增 HTTP 服务基准测试:并发吞吐量从 55.7 提升至 219.1 tok/s(1→8 个客户端,Qwen2.5-7B,RTX 4090)
-
新增包含实际测量数据的
benchmarks/results/server_benchmark.json文件 -
修复
mini_infer/目录下的所有 ruff lint 错误(CI 测试已通过) -
为
mini-infer-serveCLI 添加--use-cuda-graph和--quant-mode标志 -
为 HTTP 服务器添加
/healthz端点 -
添加
Dockerfile和.github/workflows/lint.yml文件 -
重构 README:英文版简洁明了,采用三级能力分类,并添加“如何阅读”导航