# Flake는 환경에서 새는 비결정성

> taxonomy, quarantine, SLA, normalizer와 evidence completeness

- Canonical: https://learning.reopt.ai/en/courses/agentic-testing/lessons/at-m3-concept
- Language: en
- HTML: https://learning.reopt.ai/en/courses/agentic-testing/lessons/at-m3-concept

---

[Agentic test-environment engineering](/en/courses/agentic-testing) 3. Flake와 Evidence 운영 5 / 9

# Flake는 환경에서 새는 비결정성

taxonomy, quarantine, SLA, normalizer와 evidence completeness
Concept 45 XP 9 min

Flake를 “가끔 실패”라는 한 bucket에 넣으면 owner를 찾을 수 없습니다. timing·locator·data·environment·external·async·model variance로 분류하고, retry/pass 패턴을 탐지 신호 로 사용하되 해결로 간주하지 않습니다.
Quarantine은 망각이 아니라 만료되는 상태 7일 내 2회 또는 flake rate 2% 초과처럼 진입 기준을 두고 owner·처리 기한·gate 영향·재활성 조건을 기록합니다. critical은 48시간 안에 처리합니다.

| 분류 | 대표 원인 | 우선 owner |
| Timing/Locator | wait·animation·contract drift | 제품팀·QA platform |
| Data/Environment | seed·계정·infra·quota | Platform·SRE |
| External/Async | sandbox·provider·queue 지연 | Integration owner |
| Model variance | prompt·model·tool timing | AI platform |

- 1 정규화 모든 runner 결과를 공통 failure vocabulary로 바꿉니다.

- 2 분류·owner 증상·환경·artifact로 원인 bucket과 담당을 정합니다.

- 3 Quarantine 결정 gate 위험, 빈도, SLA를 기준으로 격리합니다.

- 4 재활성 추적 수정 뒤 2주 동안 재발과 evidence를 관찰합니다.

실무에 남길 기준

- retry 성공은 테스트가 건강하다는 증거가 아니라 비결정성 신호다
- quarantine은 owner·기한·재활성 기준이 있는 임시 상태여야 한다
- evidence가 부족하면 제품 회귀와 환경 실패를 구분할 수 없다

[Previous](/en/courses/agentic-testing/lessons/at-m2-scenario) Got it · Continue

---

Site guide for agents: https://learning.reopt.ai/llms.txt · Sitemap: https://learning.reopt.ai/sitemap.xml · Contact: https://learning.reopt.ai/contact