Qwen3-VL在bm1688 SOC 上文字生成速度缓慢，仅有0.5 tokens/s

[zhangjingxian1998]

标准示例：

环境：

soc环境
transformers：4.57.1
torch：2.9.0+cpu
LLM-TPU：67a836d 2025.10.30
tpu-mlir：504f27a 2025.10.26
driver版本：0.4.9
sdk版本0.4.9
libsophon：#40 SMP Sun Nov 24 22:38:19 CST 2024

路径：

/home/linaro/LLM-TPU-main/models/Qwen3_VL/python_demo

操作：

python3 pipeline.py -m /data/qwen3-vl-4b-instruct_w4bf16_seq2048_bm1688_2core_20251026_141708.bmodel -c ../config

问题：

在bm1688 soc平台上推理Qwen3-VL 生成token缓慢，完全达不到示例上给的13 token/s左右。使用的模型是提供转换好的bmodel。
推理过程中，tpu利用率不高，仅有15%左右。是否有办法设置tpu利用率？

其他：

如果是自己编译的模型，需要注明使用拉下来的模型，能否跑通

[HarmonyHu]

@zhangjingxian1998 hi，这个tps确实很异常。可能需要查一下环境上的问题。可以free -h看一下系统内存是多少？会不会是系统内存太小了。

[zhangjingxian1998]

@zhangjingxian1998 hi，这个tps确实很异常。可能需要查一下环境上的问题。可以free -h看一下系统内存是多少？会不会是系统内存太小了。

内存总共为2G，推理之前有800M剩余

[HarmonyHu]

@zhangjingxian1998 这里看确实也没有问题。目前想到可能是libsophon版本太旧了，还是去年的，方便更新一下吗？我这边测试应该在6.7 tokens/s左右。
或者还有其他环境对比验证一下吗？

[zhangjingxian1998]

@zhangjingxian1998 这里看确实也没有问题。目前想到可能是libsophon版本太旧了，还是去年的，方便更新一下吗？我这边测试应该在6.7 tokens/s左右。 或者还有其他环境对比验证一下吗？

你好，我尝试更新libsophon，在官网下载了最新的sdk V2.0.0，并安装到我的设备上。然后运行bm-smi时有报错GLIBC_2.34 not found，我机器上系统是Ubuntu 20.04 GLIBC是2.31，说是高版本的GLIBC需要Ubuntu 22.04。
我必须要升级系统吗？或者说ubuntu20.04最高支持到哪个版本的sdk？用那个版本的sdk可以吗？
PS. 我也尝试在20.04下安装GLIBC_2.34，但是会有segment fault错误。