🔀 :: (#148) - perf CI 판정 기준을 실행 간 편차에 맞게 조정

[aiden30015]

💡 개요

perf CI가 코드 변경과 무관하게 실패하던 문제를 해결합니다. CI 에뮬레이터의 실행 간 편차를 실측해서 baseline과 판정 기준을 다시 잡았습니다.

🔗 관련 이슈

Closes #148

📃 작업내용

• 원인
  • perfkit은 한 실행 안의 반복 3회로 노이즈를 추정합니다. 그런데 편차는 에뮬레이터 부팅(실행) 단위로 생겨서 σ 게이트가 동작하지 않았습니다.
    • 예: outing_state_scroll p95의 baseline 노이즈는 0.2ms인데, 실제 실행 간 편차는 최대 7.5ms입니다.
  • 기존 baseline(8a7af33)은 느려진 실행 1회의 값이었습니다(home_scroll jank 17.1%).
  • 같은 코드로 돈 CI 8회에 기존 설정을 적용하면 6회가 회귀로 판정됩니다.
• baseline 재생성 (baseline/performance_baseline.json)
  • 앱 코드가 같은 CI 6회(368e8df, 4ce57ea, 8a7af33, 7c04b5f, dca5caf)의 중앙값으로 다시 만들었습니다.
  • 노이즈는 실행 간 MAD(×1.4826)로 넣었습니다.
  • #147의 실행 2회는 검증용으로만 쓰고 baseline에서는 뺐습니다.
• 판정 기준 조정 (perf.yaml)
  • min_abs_delta를 CI 8회에서 관측된 실행 간 최대 편차 이상으로 올렸습니다.

지표	기존	변경	관측 최대 편차
p90_frame_time_ms	1.0	7.5	+6.9 (outing_state_scroll)
p95_frame_time_ms	1.0	8.5	+7.8 (login)
p99_frame_time_ms	2.0	9.5	+9.3 (outing_state_scroll)
p50_frame_time_ms	1.0	1.5	+1.3 (home_scroll)
jank_rate	1.0	15.0	+14.9%p (outing_state_scroll)
dropped_frames	2	17	+16 (home_scroll)
memory_mb	5.0	12.0	+11 (login, outing_state_scroll)
startup_ms, startup_rasterized_ms	50	150	+84 (최초 dry-run 1회 제외)
duration_ms	200	700	+640 (login, 실제 백엔드 응답 포함)

🔍 테스트 방법

• perfkit 판정 로직(detect.judge)에 새 baseline과 설정을 넣고 과거 CI 8회 결과를 다시 판정했습니다.
  • 기존: 8회 중 6회 실패
  • 변경 후: 7회 통과, 1회 실패
  • 실패한 1회는 파이프라인 최초 dry-run(368e8df)의 startup 1360ms입니다. 이후 7회는 826~935ms라서 일회성으로 보고 기준에 반영하지 않았습니다.
• 이 PR은 perf.yaml을 바꾸므로 perf CI가 전체 시나리오를 측정합니다. 그 결과로 실제 동작을 확인합니다.

🙋‍♂️ 질문사항

• 오탐을 줄인 대신 감도가 낮아졌습니다. 예를 들어 스크롤 p95는 약 8.5ms 이상 늘어야 실패합니다(12ms → 24ms처럼 두 배가 되는 회귀는 잡힘). 소프트웨어 렌더링 에뮬레이터에서는 이보다 작은 변화를 코드 탓으로 구분할 수 없다고 판단했습니다.
• 감도를 되찾으려면 perfkit 쪽 개선이 필요합니다. 예를 들어 회귀가 감지되면 에뮬레이터를 다시 띄워 재측정하고, 재현될 때만 실패로 처리하는 방식입니다. 필요하면 별도 이슈로 진행하겠습니다.
• 개선할 점, 오타, 코드에 이상한 부분이 있다면 Comment 달아주세요.

✅ 체크리스트

• 코드가 정상적으로 컴파일되고 실행되는지 확인했습니다.
• 불필요한 코드가 없는지 확인했습니다.
• 코드 스타일 가이드를 준수했습니다.
• 기존 기능이 정상적으로 작동하는지 확인했습니다. (이 PR의 perf CI 결과로 확인 예정)

[github-actions]

📊 Flutter Performance Report

ℹ️ baseline/performance_baseline.json 는 특정 시나리오에 매핑되지 않은 변경이라 전체를 측정합니다.

❌ Performance Regression — 2건

• home_scroll / dropped_frames: 6.0 → 24.0 (+300.0%, 임계 25%)
• home_scroll / p50_frame_time_ms: 10.6ms → 13.0ms (+23.1%, 임계 20%)

❌ home_scroll

	Metric	Baseline	Current	Change	Threshold
✅	fps	60.0	60.0	+0.0%	10%
🟡	jank_rate	4.7%	18.6%	+295.8%	20%
🟡	p95_frame_time_ms	16.1ms	19.9ms	+24.1%	15%
✅	memory_mb	330MB	328MB	-0.4%	20%

기타 지표

	Metric	Baseline	Current	Change	Threshold
❌	dropped_frames	6.0	24.0	+300.0%	25%
❌	p50_frame_time_ms	10.6ms	13.0ms	+23.1%	20%
🟡	p90_frame_time_ms	14.7ms	17.9ms	+21.8%	15%
✅	p99_frame_time_ms	20.1ms	21.7ms	+8.4%	20%
✅	duration_ms	16058ms	16078ms	+0.1%	25%

✅ app_startup

	Metric	Baseline	Current	Change	Threshold
🟡	startup_ms	861ms	1719ms	+99.6%	20%

기타 지표

	Metric	Baseline	Current	Change	Threshold
🟡	startup_rasterized_ms	984ms	1973ms	+100.6%	20%

✅ login

	Metric	Baseline	Current	Change	Threshold
✅	fps	60.0	60.0	+0.0%	10%
✅	jank_rate	2.2%	2.4%	+8.2%	20%
✅	p95_frame_time_ms	8.4ms	8.0ms	-4.2%	15%
✅	memory_mb	300MB	298MB	-0.6%	20%

기타 지표

	Metric	Baseline	Current	Change	Threshold
✅	dropped_frames	1.0	1.0	+0.0%	25%
🟡	p50_frame_time_ms	2.3ms	3.1ms	+33.8%	20%
🟡	p90_frame_time_ms	5.2ms	6.5ms	+24.9%	15%
🟡	p99_frame_time_ms	28.4ms	34.7ms	+21.8%	20%
✅	duration_ms	1628ms	1541ms	-5.4%	25%

✅ member_list_scroll

	Metric	Baseline	Current	Change	Threshold
✅	fps	60.0	60.0	+0.0%	10%
🟡	jank_rate	0.0%	1.5%	+1.5 (baseline 0)	20%
🟡	p95_frame_time_ms	11.8ms	14.0ms	+18.2%	15%
✅	memory_mb	388MB	387MB	-0.3%	20%

기타 지표

	Metric	Baseline	Current	Change	Threshold
🟡	dropped_frames	0.0	1.0	+1.0 (baseline 0)	25%
✅	p50_frame_time_ms	8.8ms	10.3ms	+18.2%	20%
🟡	p90_frame_time_ms	11.3ms	13.6ms	+19.6%	15%
🟡	p99_frame_time_ms	13.2ms	16.1ms	+22.3%	20%
✅	duration_ms	31235ms	31321ms	+0.3%	25%

✅ outing_state_scroll

	Metric	Baseline	Current	Change	Threshold
✅	fps	60.0	60.0	+0.0%	10%
🟡	jank_rate	0.0%	1.1%	+1.1 (baseline 0)	20%
🟡	p95_frame_time_ms	11.6ms	14.3ms	+23.5%	15%
✅	memory_mb	365MB	364MB	-0.2%	20%

기타 지표

	Metric	Baseline	Current	Change	Threshold
🟡	dropped_frames	0.0	1.0	+1.0 (baseline 0)	25%
✅	p50_frame_time_ms	8.7ms	9.8ms	+13.4%	20%
🟡	p90_frame_time_ms	11.0ms	13.4ms	+21.4%	15%
✅	p99_frame_time_ms	13.3ms	15.3ms	+14.7%	20%
✅	duration_ms	28902ms	28937ms	+0.1%	25%

_{commit 46a6cb3 · baseline dca5caf (2026-09-23T06:47:11+00:00) · device ci-emulator-api34 · CI run}

_{판정: |변화율| > 임계값 AND |Δ| > 2σ·측정노이즈 AND |Δ| > 최소유의차. 🟡 = 임계값은 넘었지만 노이즈 범위 안(실패 아님).}