对比dynamo kvbm与mooncake的kv管理

[chengchen666]

想请问一下，对比dynamo kvbm与mooncake的kv管理，FlexKV有什么独特的地方吗？ 架构上或者功能上？

[YconquestY]

你好，FlexKV有以下特性：

1. （即将）支持全部推理并行策略
   
   FlexKV已支持DP、TP，短期内会支持CP、PP。届时，FlexKV会成为首个支持所有推理并行策略的KV缓存卸载后端 :P
2. 多厂商GPU、NPU支持
   
   FlexKV将适配多厂商加速器，包括英伟达GPU、AMD GPU、摩尔线程GPU等
3. 分布式缓存复用
   
   FlexKV采用去中心化的KV缓存控制面，可以在缺少前端路由的情况下通过FlexKV后端在各实例间拉取KV缓存，提升缓存命中率
4. 在异步传输时使用DAG和带宽聚合

[linhu-nv]

补充一点，架构设计也完全不一样，flexkv更加推理引擎亲和，latency控制严格，纯c++和python实现