Flake는 환경에서 새는 비결정성
taxonomy, quarantine, SLA, normalizer와 evidence completeness
Flake를 “가끔 실패”라는 한 bucket에 넣으면 owner를 찾을 수 없습니다. timing·locator·data·environment·external·async·model variance로 분류하고, retry/pass 패턴을 탐지 신호로 사용하되 해결로 간주하지 않습니다.
| 분류 | 대표 원인 | 우선 owner |
|---|---|---|
| Timing/Locator | wait·animation·contract drift | 제품팀·QA platform |
| Data/Environment | seed·계정·infra·quota | Platform·SRE |
| External/Async | sandbox·provider·queue 지연 | Integration owner |
| Model variance | prompt·model·tool timing | AI platform |
- 정규화모든 runner 결과를 공통 failure vocabulary로 바꿉니다.
- 분류·owner증상·환경·artifact로 원인 bucket과 담당을 정합니다.
- Quarantine 결정gate 위험, 빈도, SLA를 기준으로 격리합니다.
- 재활성 추적수정 뒤 2주 동안 재발과 evidence를 관찰합니다.