是否有支持多模态embedding的计划？比如gemini-embedding-2-preview

[UnlastingR]

现在只有基于文本的embedding，无法发挥多模态的功能

[bigben446]

+1

[cookjohn]

感谢建议。先说现状：插件目前的语义索引管线是纯文本的——内容提取只取标题、摘要、PDF 文本和注释，向 embedding API 发送的也只有文本 input 字段，向量库中每条向量对应一个文本块，没有图像模态的概念。

要支持多模态 embedding，需要改动三层：

1. 从 PDF 中提取图片/图表（新的解析路径）；
2. 适配多模态 API 的请求格式（如 Gemini 的图像 embedding 接口与目前插件使用的 OpenAI 兼容 /embeddings 格式不同）；
3. 向量库支持混合模态的存储与检索打分，索引体积也会显著增大。

这是一个较大的功能，短期内没有排期，暂不承诺时间表，但会保留这个 issue 跟踪需求热度。

两个补充：

• 如果你只是想用 Gemini 的文本 embedding 模型，理论上可以试试 Google 提供的 OpenAI 兼容端点（插件支持自定义 API Base 的 OpenAI 兼容格式），具体端点和模型名请以 Google 文档为准，欢迎反馈测试结果；
• 如果方便的话，能否描述一下你期望的多模态使用场景（比如按图表内容检索文献？），这有助于我们评估优先级和设计方案。