core.search 与已发布的 search 引擎脱节:只检索活跃块、0.1 阈值单次命中永不过、无 CJK、无可见消息

[ranxianglei]

现象

core.search(query, state)(进程内 API)对常见查询返回空数组,即使查询词就出现在当前会话里。billion-context#394 有完整的用户侧复现(0 压缩块的会话,查询词全部在可见对话中 → [No blocks matched ...])。

根因(src/compress.ts)

1. 语料只有活跃摘要块:search()(compress.ts:384-395)只对 activeBlocks(state) 打分,可见消息从不参与检索 → 0 块会话必空。
2. 阈值不可达:scoreRelevance(compress.ts:1342-1364)topic 命中 0.15/次(上限 0.45)、summary 命中 0.04/次(上限 0.2),过滤线 score > 0.1。summary 中只出现一次查询词 = 0.04,永远被过滤。
3. CJK 缺失:query 按 \s+ 切词 + indexOf 精确子串匹配,中文整串当一个 token,基本必 miss。
4. 工具描述与实现不符:buildCompressSystemPrompt(compress-tools.ts:206 附近)承诺 "(and optionally visible messages)",但 core.search 没有这个选项;tool schema 描述也只提 blocks。

关键事实

src/search/(bm25/hybrid/semantic/fuzzy/substring + tokenizer 的 CJK 分词 + stemmer + doc-cache + blockDocs/messageDocs 语料构建)已经发布并从 src/index.ts 导出,设计意图就是给 search_context 用(search/index.ts 头部注释:模型用 search 定位被压缩折叠的细节,再 decompress 所属块;host 从 session log 提供 messageDocs)。但 core.search 完全没有接线它 —— 引擎是死代码,core.search 还在用上面那套朴素打分。

影响

• 进程内 host(billion-context-pi、pai-acp)直接用 core.search,同样存在"静默空结果 + CJK 必 miss"。
• billion-context 代理端已在 PR fix: wire search_context to the kernel search engine (blocks + visible messages, CJK) billion-context#415 绕过 core.search,直接调 searchBlocks(blockDocs(state) + messageDocs(可见消息))(活跃块 + 可见消息语料,hybrid BM25+fuzzy,CJK 分词),14 个新单测全部通过,含 CJK 用例。该 PR 不依赖本 issue 的修复。

建议修法

1. core.search 重构到 searchBlocks 上:语料 = blockDocs(state)(建议仍只取 active 块,已折叠进父层的内容避免重复命中)+ 可选的 messageDocs(messages);签名加可选 messages 参数(保持向后兼容)。
2. 阈值走 bm25 语义(hybrid 归一化后真实命中 ≈0.7-1.0,弱模糊命中 ≈0.3,默认 minScore 0.01 即可,不要再设 0.1 这种不可达门槛)。
3. 同步更新 compress-tools.ts 的 tool 描述与 system prompt,使其与实现一致。
4. 补 CJK 单测(中文查询 → 中文 summary / 中文消息)。

验收标准

• 0 块会话:查询词来自当前可见消息 → 有命中(或显式说明检索语料)
• 中文查询在中文会话中可命中(单测含 CJK 用例)
• summary 中只出现一次查询词的块能通过阈值
• 工具描述与实现一致

[ranxianglei]

🤖 ework agent · vllm-qwen/qwen3.8-27b

[bot] 🏷 开工了。按 issue 建议的修法实施:

1. core.search 重构到 searchBlocks 上:语料 = active 块的 blockDocs(避免已折叠进父层的内容重复命中)+ 可选 messageDocs(messages);签名加可选 messages 参数(2 参调用保持兼容)。返回类型从 CompressionBlock[] 改为 SearchResult[](含 blockId/ref/score/preview,进程内 host 需小改)。
2. 阈值走 hybrid 归一化语义,用默认 minScore 0.01,删除 scoreRelevance 那套朴素打分。
3. compress-tools.ts 三处描述(tool schema + text/hybrid system prompt)已同步为 "block summaries and visible messages"。

正在补 CJK / 0 块会话 / 单次命中阈值单测,跑完 typecheck+test+build 后开 PR。

[ranxianglei]

🤖 ework agent · vllm-qwen/qwen3.8-27b

[bot] 🏷 完成,PR 已开:#179

改动(commit e6d2c5e,branch 2026-08-31_core-search-wiring):

1. core.search 重构到 searchBlocks(src/compress.ts):语料 = active 块的 blockDocs(inactive 块排除——已折叠进父层的内容经父层 summary 可达,避免重复命中)+ 可选 messageDocs(messages)。签名 search(query, state, messages?),2 参调用向后兼容。
2. 阈值:hybrid BM25+fuzzy(发布的默认算法)+ minScore 0.01。删除 scoreRelevance/countOccurrences 整套朴素打分。
3. 工具描述:compress-tools.ts 的 tool schema 描述 + text/hybrid 两套 system prompt 均改为 "block summaries and visible messages",与实现一致。
4. 单测:新增 5 个(0 块会话可见消息命中、CJK 查询→中文 summary、CJK 查询→中文消息、单次出现词过阈值、inactive 块排除)。

验收标准对照:

• ✅ 0 块会话:查询词来自可见消息 → 有命中(单测覆盖)
• ✅ 中文查询可命中(2 个 CJK 单测)
• ✅ summary 单次出现查询词的块通过阈值(单测覆盖;旧代码下该 case = 0.04 < 0.1 必空)
• ✅ 工具描述与实现一致

一个需要 host 侧注意的 API 变化:返回类型从 CompressionBlock[] 变为 SearchResult[]({kind, ref, blockId?, tier, score, title, preview, role?, tokens?})。进程内 host(billion-context-pi、pai-acp)需要小改——block id 仍可从 result.blockId 取,用于 decompress。

一处既有测试调整:"search returns active blocks matching the query, ranked" 从 hits.length === 1 放宽为 top-hit 断言。原因:hybrid 下弱 fuzzy bigram 重叠(如 "deployment docker compose" 对 "auth token",共享 "en"/"ke" 两个 bigram)会得 ≈0.1 ≥ minScore 0.01 而进入结果——这是引擎设计内的召回通道,与 billion-context#415 代理端行为一致。

检查:npm run typecheck ✅ / npm test 554 pass 0 fail ✅ / npm run build ✅