chore: Notion 동기화 2026-06-29 15:00

Author: sungbin1015

docs/poc/.notion-sync.json

@@ -29,8 +29,8 @@
   },
   "373e15b4-0359-8150-88f3-eedc5ebd727b": {
     "file": "docs/poc/vision-bench/2편-추론-파라미터-튜닝-qwen3-omni-6초-클립-분석-ofat-스윕.md",
-    "last_edited": "2026-06-29T04:39:00.000Z",
-    "content_hash": "e66d566e322e8761835bdbfd1d37823a1aace3d3b5eb9b52531a32982e4b15c2",
+    "last_edited": "2026-06-29T05:40:00.000Z",
+    "content_hash": "f751aa5491fb4d4075b17251fea016ad7615bd786773effcd1f1f366367a834e",
     "order": 3,
     "parent_id": "vision-bench"
   },

docs/poc/vision-bench/2편-추론-파라미터-튜닝-qwen3-omni-6초-클립-분석-ofat-스윕.md

@@ -90,7 +90,7 @@ SceneMaker의 클립 영상 분석은 영상에 포함된 **시각·청각 정
 - **repetition(곱셈·나눔)**
 한 번이라도 나오면 **일정 비율** 로 깎음(등장 여부만, 횟수 무관). vLLM 은 **프롬프트 + 출력** 모두 보므로 프롬프트 어휘까지 억제될 수 있음.
 
--  둘 다 켜면 **2중 과한 억제로 작용** 한다.
+- 둘 다 켜면 **2중 과한 억제로 작용** 한다.
 :::
 
 ### 2.3. 출력 스키마 / 환각 가드
@@ -244,28 +244,26 @@ penalty= `score.repeat` + `score.degen.(foreign + finish_length + replacement)`
 | **P95 / Max 지연** | 8.9k / 9.4k ms | **5.8k / 7.4k ms** | - |
 | **이종문자 발생률** | 0% | **0%** (교차 계열 0\~1% 산발) | 26% (폭발) |
 
-#### 1. 완주율 및 지연 시간: Greedy의 '폭주(Runaway)' 현상
+#### 1. 완주율은 온도와 함께 오르지만, 1.0의 이득은 상쇄된다
 
-- **Greedy(0.0)의 치명적 결함:** 무한 루프(반복 생성)에 갇혀 `max_tokens` 까지 도달하는 폭주 현상이 빈번하게 발생했습니다. (길이 제한으로 인한 미완료 종료율 `finish_len` 13%)
-- **꼬리 지연(Tail Latency) 감소:** `temp 0.7` 에서는 이러한 폭주 현상이 급감하여 P95 지연 시간은 **8.9k ms ➡️ 5.8k ms** 로, Max 지연은 **9.4k ms ➡️ 7.4k ms** 로 크게 개선되었습니다.
-- **P50(중앙값)의 일관성:** P50 지연 시간은 온도의 영향 없이 약 3.5k ms로 동일했습니다. 즉, 평소 속도는 같으나 **고온일수록 이상치(탈주 현상)가 제어** 되는 것을 뜻합니다.
+- **완주율 상승:** ok 율은 온도와 함께 올라(83.21% ➡️ 92.14%) finish_len(미완·탈주)도 16.8% ➡️ 7.9%로 감소합니다.
+- **1.0의 함정:** 그러나 1.0의 완주율 이득은 이종문자 폭발로 상쇄됩니다 — penalty가 8.9%(0.0) ➡️ 14.4%(1.0)로 오히려 악화. 완주는 했으나 내용이 깨진 출력이 늘어난 것입니다.
+- **0.7의 균형:** 완주율 87.5%로 충분히 높으면서 penalty는 최저(7.5%)를 유지합니다.
 
 #### 2. 이종문자 폭발과 반복률의 오해
 
-- **Temp 1.0의 리스크:** 1.0 고온 환경에서는 이종문자 발생률이 26%로 폭발하여 실서비스 적용이 불가능합니다.
-- **0.7의 안정성:** 본 계열 기준 0%를 기록했습니다. 단, 동일 설정의 교차 계열(top_k -1, top_p 1.0, 840레코드) 테스트에서 0\~1% 수준의 산발적인 꼬리가 발견되나, 1.0과는 자릿수부터 다른 안전한 수준입니다.
-- **반복률(Repeat)은 온도와 무관:** 온도를 낮추면 반복 현상이 줄어들 것이라는 직관과 달리, 전 구간에서 **11\~13%로 평탄** 하게 유지되었습니다. 즉, 온도로 반복을 제어할 수는 없습니다.
+- **Temp 1.0의 리스크:** 1.0에서 이종문자(foreign)가 35.4%로 폭발(4회 전부 31\~39% 일관)하여 실서비스 적용이 불가능합니다.
+- **0.7의 안정성:** 0.0\~0.7 구간은 0\~0.35%로 안전합니다.
+- **반복률(Repeat)은 온도와 무관:** 직관과 달리 전 구간 14\~20%로 평탄하게 유지됩니다. 온도로 반복은 제어할 수 없으며, 레버는 페널티/dedup(§4.2)입니다.
 
-#### 3. BGM/SFX 커버리지의 함정
+#### 3. field 커버리지
 
-- 온도가 높을수록 커버리지가 상승(44% ➡️ 60%)했으나, 이를 가산점으로 볼 수 없습니다.
-- 고온일수록 **과생성 및 환각(Hallucination) 위험** 이 커진다는 방향성 가설이 존재하며, 현재 정답지(Ground Truth)가 없는 상황에서는 신뢰하기 어렵습니다.
-- 따라서 `0.7` 선택의 근거는 커버리지 상승이 아닌, '결함 최소화(완주율 상승 및 이종문자 억제)'에 있습니다.
-- *(참고: Summary, Objects, Actions 항목은 전 구간 100% 고정 달성)*
+- field(summary·ocr·actions·sounds 커버리지 평균)는 0.7에서 96.0%로 최고이며, 1.0은 93.4%로 하락합니다(이종문자 붕괴가 ocr·sounds를 갉아먹음).
+- *(참고: summary·actions는 전 구간 거의 100%, 변동은 주로 ocr·sounds. 추론 지연은 온도와 무관하게 평탄(p50 약 2k·p95 약 7k)하여 판정 근거에서 제외)*
 
 
 > **Temperature 0.7 설정**
-Greedy(0.0)는 미완료 종료율이 가장 높고 지연 시간의 꼬리가 길며, 현 서빙 구조상 회차마다 결과가 출렁여 저온의 이점인 '결정론적 안정성'조차 확보되지 않습니다. 반면 `0.7` 은 완주율 최상위권, 지연 시간 최소화, 이종문자 방어를 동시에 달성하는 가장 균형 잡힌 선택지입니다.
+Greedy(0.0)는 결정론도 보장하지 못하고 결함이 적지 않으며, 1.0은 완주율은 최고지만 이종문자 폭발로 penalty가 2배입니다. 반면 `0.7` 은 penalty 최저(7.5%)·field 커버리지 최고(96.0%)·이종문자 0으로 결함을 최소화하는 가장 균형 잡힌 선택지입니다.
 
 ### 4.2. frequency / repetition penalty