Skip to content

fix(dashboard): 계산이 끝나지 못한 뒤에는 tools 캐시가 warming 씨앗을 다시 내놓지 않아요 - #52269

Merged
github-actions[bot] merged 4 commits into
mainfrom
fix/29980-seeded-cache-does-not-revive-after-failure
Nov 15, 2026
Merged

github-actions[bot] merged 4 commits into
mainfrom
fix/29980-seeded-cache-does-not-revive-after-failure

Conversation

@jeong-sik

@jeong-sik jeong-sik commented Nov 15, 2026 •

Copy link
Copy Markdown
Owner

무슨 일이 생기던가요

/api/v1/dashboard/tools 가 서버는 준비됐는데도 status: warming, 도구 0개로만 답했어요.
TUI Tools 화면은 그래서 비어 보였어요.

tools 엔드포인트는 읽을 때마다 warming 씨앗을 캐시에 심어요(seed_stale_if_missing).
캐시는 계산이 시간을 넘기거나 실패하면 그 씨앗을 stale 값으로 되살렸어요.
되살리는 자리는 세 곳이었어요.

  • 배경 재계산 실패 처리
  • restore_stale_ready
  • inline 계산 실패

되살아난 씨앗은 출처가 그대로 Seeded 라서 엔드포인트가 Tools_pending(warming)으로 답했어요.
계산이 계속 실패하는 동안 error 는 한 번도 보이지 않았어요.

무엇을 바꿨나요

  • 세 자리를 entry_after_unfinished 하나로 모았어요.
    계산이 끝난 방식(Gave_up | Timed_out | Raised)과 값의 출처(payload_origin)로 갈라요.
    모든 짝을 적었어요.
  • 계산된 값(Computed)은 지금처럼 실패 뒤에도 stale 값으로 나가요.
  • 씨앗은 계산이 끝나면 더는 답이 아니에요.
    • 취소(Gave_up): 씨앗을 그대로 둬요. 알게 된 것이 없어요.
    • 시간 초과(Timed_out): timeout 봉투(origin Timeout)가 씨앗 자리를 차지해요.
      계산이 성공할 때까지 stale 값처럼 나가고, tools 는 Tools_error(504)로 답해요.
    • 실패(Raised): 씨앗은 grace 가 끝난 채로 자리만 지켜요. 그래서 다시 심기지 않아요.
      다음 읽기가 inline 으로 계산하고, 실패는 그 읽기에 올라가 500 으로 보여요.
  • timeout 봉투에 창 길이가 필요해서 ?wait_timeout_sec 와 window 를
    compute_window = Unbounded | Bounded { timeout_sec; within } 하나로 합쳤어요.
    두 값은 늘 같아야 했어요.
  • 호출자 취소(release_on_cancel)는 그대로예요.
  • changelog.d/52269.md 를 더했어요.

확인

  • test/test_dashboard_cache.ml 에 동작 사례 셋을 더했어요.
    • 씨앗을 심은 키의 배경 계산이 시간을 넘기면 다음 읽기가 Timeout 을 받고, 다시 심어도 씨앗이 돌아오지 않아요.
    • grace 가 끝난 씨앗의 inline 계산이 시간을 넘기면 그 읽기가 Timeout 을 받고 칸에도 봉투가 남아요.
    • 씨앗을 심은 키의 배경 계산이 실패하면 다음 읽기가 그 실패를 받고, 다시 심어도 같아요. 성공한 계산은 Computed 로 답해요.
  • 고치기 전 코드에서 세 사례 모두 실패했어요(Expected "timeout" / Received "seeded", answered as "warming").
  • 고친 뒤 test_dashboard_cache.exe 72개, test_dashboard_cache_lane.exe 6개, test_dashboard_compute_window.exe 2개가 통과했어요.
  • tools 씨앗 시험(worker Tools seed promotes before component TTL with empty inventory)이 있는 test_dashboard_http_core.exe 도 165개 모두 통과했어요.
  • 전체 dune build·dune runtest 는 돌리지 않았어요.

남은 것

  • 운영에서 tools 계산이 실제로 30초를 넘는지, 아니면 예외로 끝나는지는 확인하지 않았어요.
    이 PR 뒤에는 둘 중 어느 쪽이든 504 나 500 으로 보여요.
  • 배경 계산이 시간을 넘긴 뒤에는 기존 backoff(ttl×6, tools 는 180초) 동안 다시 계산하지 않고 504 로 답해요.
    재시도 간격은 이 PR 에서 바꾸지 않았어요.
  • 다시 계산하는 동안 다른 읽기는 지금처럼 그 칸이 들고 있던 값을 받아요.
    실패로 자리만 지키는 씨앗이면 그 동안은 warming 으로 보여요.

Closes #29980

🤖 Generated with Claude Code

be-sleepers and others added 2 commits November 15, 2026 18:25
Why: tools 엔드포인트는 읽을 때마다 warming 씨앗(Seeded)을 심고, 캐시는
계산이 시간을 넘기거나 실패하면 그 씨앗을 stale 값으로 Ready 에 되살렸어요.
배경 재계산 실패 처리, restore_stale_ready, inline 계산 실패 세 곳이 모두
그랬어요. 그래서 계산이 계속 실패하는 동안 엔드포인트는 error 가 아니라
"warming, 도구 0개"로만 답했어요(#29980).

- 세 자리를 entry_after_unfinished 하나로 모았어요. 계산이 끝난 방식은
  Gave_up | Timed_out | Raised 로, 값의 출처는 payload_origin 으로 갈라요.
- 계산된 값(Computed)과 이미 씨앗 자리를 차지한 Timeout 은 지금처럼 되살려요.
- 씨앗은 Gave_up(취소)일 때만 그대로 둬요. Timed_out 이면 timeout 봉투
  (origin Timeout)가 씨앗 자리를 차지하고, 계산이 성공할 때까지 stale
  값처럼 나가요. Raised 면 씨앗은 grace 가 끝난 채로 자리만 지켜서 다시
  심기지 않고, 다음 읽기가 inline 으로 계산해 실패를 그 읽기에 올려요.
- timeout 봉투에 창 길이가 필요해서 ?wait_timeout_sec 와 window 를
  compute_window = Unbounded | Bounded { timeout_sec; within } 하나로
  합쳤어요. 둘은 늘 같은 값이어야 했어요.
- 호출자 취소(release_on_cancel)는 손대지 않았어요.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@jeong-sik
jeong-sik marked this pull request as ready for review November 15, 2026 10:46
@anyang-keepers anyang-keepers added kind/defect 동작은 하는데 결과가 틀리다. 잘 되던 게 안 되는 것도 여기 area/dashboard 사람에게 보여 주는 화면. 대시보드, TUI impact/degrades 4순위 · 느리거나, 불편하거나, 결과가 덜 정확하다 labels Nov 15, 2026

@anyang-keepers anyang-keepers left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

APPROVE @ 1be82e8 — 현 head 기준 소스 리뷰. 4파일 diff 전수(cache.ml/.mli·시험·조각). 컴파일·시험 실행 없음(작성자 보고로 보강).

판정: P0–P2 없음. 숨겨진 실패(「시작 중」으로 위장한 계속 실패)를 정확히 닫는다.

  • 문제가 실제다: 캐시는 시간 초과·실패한 compute마다 warming 씨앗을 되돌려 놓았고, Tools endpoint는 매 읽기마다 씨앗을 심으므로 계속 실패하는 계산이 계속 뜨는 서버처럼 보였다(#29980).
  • 해결이 분류를 통해 이뤄진다: unfinished_compute(Gave_up | Timed_out | Raised)가 compute가 값을 내지 못하고 끝난 방식을 말하고, entry_after_unfinished가 복원 항목을 결정한다 — 계산된 값·이미 timeout이 씨앗 자리를 대신한 항목은 그대로 유지, 씨앗+Gave_up(취소)은 씨앗 유지(아무것도 학습 안 됨), 씨앗+Timed_out은 timeout envelope(origin Timeout)이 씨앗 자리를 대신해 stale처럼 서빙, 씨앗+Raised는 씨앗을 만료시켜(expires_at=stale_until=ts) 다음 읽기가 inline 계산하며 실패가 그 읽는 자에게 도달한다. 두 경우 모두 key 점유가 남아 seed_stale_if_missing이 씨앗을 다시 심지 못한다.
  • 응답 규칙이 명시적이다: timeout·취소는 fallback으로 답하고, raise한 compute는 호출자에게 도달한다 — 옛 should_restore_stale_after_failure(예외 분류 문자열 목록)를 unfinished_of_exn으로 대체해 분류가 한 곳에 모였다.
  • wait_timeout_sec 인자를 Bounded window로 통합했다 — waiter의 대기 길이가 timeout envelope가 보고하는 길이와 같아진다(중복 제거).
  • 계산된 stale은 실패 뒤에도 서빙된다(기존 동작 유지 — 주석 명시).
  • 시험 3개가 이 동작을 origin으로 고정한다: seed→백그라운드 timeout 읽기가 Timeout origin·owner kind를 답하고 이후 심은 씨앗이 대체하지 못함, 만료된 씨앗+inline timeout이 slot에 timeout을 남김(peek 대조), seed→백그라운드 실패의 다음 읽기가 실패를 예외로 받고 씨앗 재심기가 무시되며 성공 시 Computed로 돌아옴. mli 문서가 씨앗의 수명(「A seed answers only until a compute for [key] ends」)을 그대로 서술한다.

한계: 컴파일·시험 실행 없음(작성자 보고). pangyo·be 계열 승인 1개가 병합에 여전히 필요하다.

@github-actions
github-actions Bot enabled auto-merge (squash) November 15, 2026 23:31

@be-sleepers be-sleepers left a comment

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

head 1be82e8 에 APPROVE. 읽은 범위: diff 395줄 전체(dashboard_cache.ml/.mli, test_dashboard_cache.ml, changelog). checks changes/request/type-check pass. 읽지 않은 범위: Tools 엔드포인트가 origin 을 pending/ready/error 로 바꾸는 호출부(diff 밖). 확인한 점: 미완료 compute 를 Gave_up/Timed_out/Raised 닫힌 variant 로 올리고 entry_after_unfinished 한 곳에서만 stale 복원을 정해 seed 가 실패 뒤에 되살아나는 길을 닫아요. 계산된 값과 이미 timeout 이 seed 자리를 대신한 값은 이전처럼 폴백으로 남아요. Raised 에서 seed 는 만료 상태로 남아 seed_stale_if_missing 의 재심기를 막고 다음 읽기가 inline 으로 실패를 받아요. wait_timeout_sec 와 window 를 Bounded{timeout_sec; within} 하나로 합쳐 두 값이 어긋날 수 없어요. 시험 3개가 백그라운드 timeout, 만료된 seed 의 inline timeout, 백그라운드 실패와 이후 복구를 origin 으로 단언해요. 질문(비차단): Unbounded window 에서 Compute_timeout 이 나면 예전 should_restore_stale_after_failure 는 stale 을 돌려줬지만 지금은 Raised 로 분류돼 호출자에게 던져요. window 없이 Compute_timeout 을 직접 던지는 호출부가 있는지(없다면 주석 한 줄) 확인해 주세요. 또 Timed_out 의 waiter role 이 seed 자리에 envelope 을 심는 경우는 시험이 owner 만 덮어요.

@github-actions
github-actions Bot merged commit 52fba5a into main Nov 15, 2026
5 checks passed
@github-actions
github-actions Bot deleted the fix/29980-seeded-cache-does-not-revive-after-failure branch November 15, 2026 23:56
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

area/dashboard 사람에게 보여 주는 화면. 대시보드, TUI impact/degrades 4순위 · 느리거나, 불편하거나, 결과가 덜 정확하다 kind/defect 동작은 하는데 결과가 틀리다. 잘 되던 게 안 되는 것도 여기

Projects

None yet

Development

Successfully merging this pull request may close these issues.

dashboard tools 캐시가 영영 warming 에 머문다 — 서버는 ready 인데 도구가 0개

3 participants