kubernetes部署的话，数据是如何存储的啊

[wlj521]

kubernetes部署的话，数据是如何存储的啊？

[LoveEachDay]

milvus 2.0 的数据存储分为三部分：
1> 元数据 -- 储存在etcd 中
2> 插入向量数据-- 存储在消息队列中(pulsar, kafka, rocksmq)
3> 向量数据 -- 存储在对象存储中(s3, gcs, minio)

数据写入流程：
1> create collection , 这个时候会把collection meta 放在etcd 中
2>insert data into collection, 这个时候proxy 会把接收的插入请求的向量数据写入到消息队列中，然后返回用户插入成功
3> milvus data node 消费消息队列中的数据，写入到对象存储中

在kubernetes 中部署，我们依赖默认的storageclass, 来自动创建pvc, 给上面各个组件使用。

[cutelitchi]

你好，请问下，元数据存在ETCD中，这个数据量是根据业务数据量大小来决定的吗？我想的是，把milvus使用的ETCD替换成k8s集群使用的ETCD服务，不想再重新部署一套ETCD，这样可行吗。谢谢。

[yhmo]

etcd持久化存储了milvus集群运行所需的各种核心信息，尤其是记录了各个分片在S3上存储的路径信息。
如果直接替换etcd服务，该集群就相当于一个新集群，原有的数据信息全部丢失。就算你把现有的etcd里的数据拷贝到新的etcd上，也有可能造成etcd和S3数据的不一致，出现一些莫名其妙的问题(比如丢失一些数据什么的)。
一般如果要把数据挪到另一个集群，要靠这个工具：https://github.com/zilliztech/milvus-backup。直接替换etcd或者直接替换S3，都会造成etcd和s3数据的不一致，有可能导致集群无法使用。