운영 가능한 agent system의 완료 조건
단위·통합·E2E 평가, trajectory, 관측성, 모델 라우팅과 가드레일
최종 답변만 맞아도 잘못된 tool을 호출하거나 우연히 통과할 수 있습니다. 프로덕션에서는 결과 품질·trajectory·도구 계약·정책 준수·비용·지연을 함께 평가하고, trace에서 회귀 사례를 다시 평가셋으로 올립니다.
| 계층 | 평가 대상 | 대표 증거 |
|---|---|---|
| Unit | agent·tool의 입출력 계약 | 고정 fixture·schema test |
| Integration | handoff·state·provider 결합 | trace·checkpoint replay |
| E2E | 사용자 목표와 side effect | sandbox 시나리오·human review |
| Production | drift·비용·지연·정책 | 샘플 trace·SLO·incident |
- Hard gate 정의권한 상승·PII·미승인 write는 점수 전에 차단합니다.
- Trajectory 평가도구 선택·순서·불필요 반복을 판정합니다.
- SLO 연결성공 작업당 비용, p95 지연, 복구율을 운영합니다.
- 회귀 루프운영 실패 trace를 재현 가능한 평가 케이스로 승격합니다.