문제의 원인을 다시 만들 수 있는가
canonical trace, SLI/SLO, error budget와 cost per successful task
로그 양보다 중요한 것은 사고가 났을 때 모델·프롬프트·도구·정책·승인 흐름을 재구성하는 속도입니다. 요청·모델·agent·tool·policy·trace의 필수 필드를 내부 canonical schema로 모으고, 품질·가용성·p95 지연·비용을 SLO로 운영합니다.
| SLI | 예시 목표 | 초과 시 행동 |
|---|---|---|
| Availability | 99.9% | fallback·traffic shift |
| Quality | 95% 이상 | rollout hold·regression 분석 |
| Latency | p95 4초 | fast tier·cache·async 분리 |
| Cost/task | 월 예산 +10% 이내 | route·prompt·tool 비용 점검 |
| Policy failure | 0에 근접 | 제한 모드·incident |
- Canonical schematrace_id와 모든 운영 버전·승인·도구 필드를 묶습니다.
- SLO와 error budget품질·가용성·지연·비용 목표를 업무별로 정합니다.
- Pareto 최적화quality·cost·latency의 효용 가중치를 명시합니다.
- Action threshold임계값 초과가 자동 알림·중단·routing 변경으로 이어지게 합니다.