더 많은 실험보다 더 빠른 결정
Decision Score, 실험 창, 사고 분류·격리·회고
Prompt·Model·Workflow 실험은 품질뿐 아니라 비용과 위험을 함께 바꿉니다. ΔQuality − λcost·ΔCost − λrisk·ΔRisk로 판정하되 PII·권한 상승은 계산 전에 차단합니다. 사고는 품질·비용·정책·공급망으로 분류해 즉시 조치와 재발 통제를 연결합니다.
| 사고 유형 | 즉시 조치 | 재발 방지 |
|---|---|---|
| 품질 회귀 | 릴리즈 rollback | regression dataset 승격 |
| 비용 폭증 | 경량 route·limit | 예산·cache·tool cost 정책 |
| 정책 우회 | 승인 모드·권한 축소 | guardrail·red-team case |
| MCP/Skill 침해 | server disable·token revoke | 공급망 allowlist·pinning |
- 사업 의미 선설정통계보다 먼저 채택·중단 기준을 정합니다.
- 실험 범위 제한동시 실험과 tool·tenant scope를 제한합니다.
- 사고 격리영향과 side effect를 줄이고 증거를 보존합니다.
- 회귀 자산화실패 trace와 대응 통제를 eval·runbook에 반영합니다.