# 더 많은 실험보다 더 빠른 결정

> Decision Score, 실험 창, 사고 분류·격리·회고

- Canonical: https://learning.reopt.ai/en/courses/llmops-agentops/lessons/lo-m4-concept
- Language: en
- HTML: https://learning.reopt.ai/en/courses/llmops-agentops/lessons/lo-m4-concept

---

[LLMOps & AgentOps](/en/courses/llmops-agentops) 4. 실험과 인시던트 7 / 9

# 더 많은 실험보다 더 빠른 결정

Decision Score, 실험 창, 사고 분류·격리·회고
Concept 45 XP 9 min

Prompt·Model·Workflow 실험은 품질뿐 아니라 비용과 위험을 함께 바꿉니다. ΔQuality − λcost·ΔCost − λrisk·ΔRisk 로 판정하되 PII·권한 상승은 계산 전에 차단합니다. 사고는 품질·비용·정책·공급망으로 분류해 즉시 조치와 재발 통제를 연결합니다.
사고 대응은 영향 범위부터 줄인다 scope 축소→side effect 중단→token·연결 회수→fallback→증거 보존 순으로 격리하고, SEV-1 자동 복구에는 사람 승인을 남깁니다.

| 사고 유형 | 즉시 조치 | 재발 방지 |
| 품질 회귀 | 릴리즈 rollback | regression dataset 승격 |
| 비용 폭증 | 경량 route·limit | 예산·cache·tool cost 정책 |
| 정책 우회 | 승인 모드·권한 축소 | guardrail·red-team case |
| MCP/Skill 침해 | server disable·token revoke | 공급망 allowlist·pinning |

- 1 사업 의미 선설정 통계보다 먼저 채택·중단 기준을 정합니다.

- 2 실험 범위 제한 동시 실험과 tool·tenant scope를 제한합니다.

- 3 사고 격리 영향과 side effect를 줄이고 증거를 보존합니다.

- 4 회귀 자산화 실패 trace와 대응 통제를 eval·runbook에 반영합니다.

실무에 남길 기준

- 실패한 실험도 다음 결정을 줄이는 지식 자산이다
- LLMOps 사고는 품질·보안·비용 관점으로 통합 관리한다
- 회고는 책임자보다 실패를 허용한 시스템 조건을 제거해야 한다

[Previous](/en/courses/llmops-agentops/lessons/lo-m3-checklist) Got it · Continue

---

Site guide for agents: https://learning.reopt.ai/llms.txt · Sitemap: https://learning.reopt.ai/sitemap.xml · Contact: https://learning.reopt.ai/contact