LLMOps·AgentOps 운영
최종 챌린지9 / 9

최종 챌린지 · AI 프로덕션 운영 설계서

릴리즈·평가·가드레일·SLO·인시던트를 하나의 제어 체계로

실무 워크북 100 XP 18분

실무 워크북

운영 예정인 AI 기능 하나를 골라 재현 가능하고 복구 가능한 운영 설계서를 작성하세요.

작성 내용 자동 저장

Control/Data Plane과 prompt·model·tool·policy·eval manifest를 정의하세요.

Q·S·E·R rubric, hard gate, input·intent·tool·output 통제를 작성하세요.

canonical trace와 품질·가용성·지연·비용 목표를 정하세요.

traffic 범위, 채택 기준, 격리·rollback·회귀 승격을 설계하세요.

완성도 점검 기준
  • 재현성릴리즈 조합과 trace로 같은 판단을 다시 만들 수 있다.
  • 안전성정책 장애와 고위험 side effect가 fail-closed로 통제된다.
  • 서비스성품질·비용·지연이 SLO와 action threshold로 연결된다.
  • 복구성사고 격리와 trace 기반 회귀 학습이 설계되어 있다.

canary에서 작은 실패 반경으로 검증하고, 운영 trace를 다음 릴리즈의 평가 입력으로 사용하세요.