# 운영 가능한 agent system의 완료 조건

> 단위·통합·E2E 평가, trajectory, 관측성, 모델 라우팅과 가드레일

- Canonical: https://learning.reopt.ai/courses/agent-orchestration/lessons/ao-m4-concept
- Language: ko-KR
- HTML: https://learning.reopt.ai/courses/agent-orchestration/lessons/ao-m4-concept

---

[AI 에이전트 오케스트레이션](/courses/agent-orchestration) 4. 평가와 프로덕션 운영 7 / 9

# 운영 가능한 agent system의 완료 조건

단위·통합·E2E 평가, trajectory, 관측성, 모델 라우팅과 가드레일
개념 학습 45 XP 9분

최종 답변만 맞아도 잘못된 tool을 호출하거나 우연히 통과할 수 있습니다. 프로덕션에서는 결과 품질·trajectory·도구 계약·정책 준수·비용·지연 을 함께 평가하고, trace에서 회귀 사례를 다시 평가셋으로 올립니다.
평가는 결과와 경로를 함께 본다 agent별 단위 계약, handoff와 상태의 통합, 실제 사용자 흐름 E2E, 운영 trace 회귀를 계층화합니다. 비가역 행동과 보안 위반은 평균 점수에 섞지 않고 hard gate로 막습니다.

| 계층 | 평가 대상 | 대표 증거 |
| Unit | agent·tool의 입출력 계약 | 고정 fixture·schema test |
| Integration | handoff·state·provider 결합 | trace·checkpoint replay |
| E2E | 사용자 목표와 side effect | sandbox 시나리오·human review |
| Production | drift·비용·지연·정책 | 샘플 trace·SLO·incident |

- 1 Hard gate 정의 권한 상승·PII·미승인 write는 점수 전에 차단합니다.

- 2 Trajectory 평가 도구 선택·순서·불필요 반복을 판정합니다.

- 3 SLO 연결 성공 작업당 비용, p95 지연, 복구율을 운영합니다.

- 4 회귀 루프 운영 실패 trace를 재현 가능한 평가 케이스로 승격합니다.

실무에 남길 기준

- 최종 답변 정확도만으로 agent system을 평가할 수 없다
- 보안·권한·side effect는 평균 점수가 아닌 hard gate다
- production trace는 관측 데이터이자 다음 평가셋의 원천이다

[이전](/courses/agent-orchestration/lessons/ao-m3-checklist) 이해했어요 · 계속

---

에이전트용 사이트 안내: https://learning.reopt.ai/llms.txt · 사이트맵: https://learning.reopt.ai/sitemap.xml · 문의: https://learning.reopt.ai/contact