vllm的PD分离支持

[echo-timeless]

请问flexkv connector支持跨机的pd分离架构吗？我看好像vllm关于flexkv connector的部分并没有proxy的相关设计

[linhu-nv]

你是说flexkv进行pd分离中kvcache传输的功能吗，这个暂时是不支持的，因为vllm本身已经有pd分离的实现了。flexkv可以接prefill或者decode节点进行kvcache offload和reuse，或者跨节点之间kvcache reuse

[SoonyangZhang]

我理解 vllm的 pd分离和 kv offload 都走的是Connector接口。接入flexkv之后，pd分离的kv cache 传输还能正常工作吗？

[linhu-nv]

可以的，当前我们把flexkv接在prefill端，是可以正常工作

[luobuda]

可以的，当前我们把flexkv接在prefill端，是可以正常工作

你好，请教下flexkv支持pd分离大致流程是这样的对吗：perfill节点读flexkv执行perfill完成后把kvcache存到flexkv，存完后decode节点从flexkv读取kvcache执行decode

flexkv当前支持perfill完成后直接把kvcache传给decoder吗，我看dynamo文档有这个介绍
https://docs.nvidia.com/dynamo/integrations/kv-cache-integrations/flex-kv#disaggregated-serving

祝好！

[linhu-nv]

你好，现在我们的pipeline流程里，flexkv不负责P->D的主动数据传输，所以需要专门的pd分离实现，或者推理引擎自带的pd实现。如果pd节点都会enable flexkv，p节点确实会存产生的kvcache，d节点确实能够通过flexkv看到，因为我们支持了分布式共享的功能，但是，推理引擎默认不支持这种实现，推理引擎默认D节点的需要的kv都是传过来的，而不是经过flexkv自己去找的。

当前PD分离里有flexkv，主要可以实现跨用户的kvcache的共享（比如多个prefill节点之间）。我们也在做更多的功能更好地支持PD分离，比如D产生的kv传回给P等

[luobuda]

感谢回复，刚入门理解比较浅，见谅，flexkv对接vllm的kv Connector时flexkv对接p节点，prefill查flexkv复用kvcache，计算完后vllm再利用如NixlConnector传给D节点是吧

[linhu-nv]

对的，这是比较标准的pipeline