AI 에이전트 오케스트레이션
4. 평가와 프로덕션 운영8 / 9

워크북: 오케스트레이션 평가 계획

계약·trajectory·SLO·회귀 루프 설계

실무 워크북 70 XP 12분

실무 워크북

실제 agent workflow 하나의 평가 체계를 네 계층으로 작성하세요.

작성 내용 자동 저장

각 agent·tool의 입력, 출력, 거절 조건을 어떤 fixture로 검증할까요?

허용·금지 도구, 최대 step, handoff 품질을 어떻게 판정할까요?

점수와 무관하게 즉시 실패시킬 보안·권한·부작용 조건을 쓰세요.

비용·지연·성공률과 회귀 trace 승격 절차를 작성하세요.

완성도 점검 기준
  • 계층성unit·integration·E2E·production 증거가 구분된다.
  • 안전성비가역 행동과 정책 위반이 hard gate로 분리된다.
  • 학습 루프운영 실패가 평가셋과 설계 개선으로 돌아온다.

평가가 배포 전 행사로 끝나지 않고 운영 trace와 이어질 때 시스템이 학습합니다.