reopt learning
AI production & governance

LLMOps & AgentOps

Operate models, prompts, tools, and traces in production

Version prompts and models, instrument agent traces, evaluate quality and cost, and run controlled releases with incident-ready operational ownership.

Advanced 8 lessons 515 XP About 89 min

Source · Handbook · LLMOps & AgentOps · Source reviewed 2026-07-01

Start learning
LLMOps & AgentOps course
0%
Course progress9 learning steps

1. 아키텍처·버전·릴리즈

변경 주기와 실패 반경에 따라 제어면과 실행면을 분리합니다.

  1. AI 릴리즈는 코드보다 넓다Control/Data Plane, 릴리즈 매니페스트, canary와 rollbackConcept45 XP
  2. AI 릴리즈 설계 퀴즈제어면·실행면·매니페스트·게이트 판정Quiz50 XP

2. 평가와 온라인 가드레일

오프라인 점수와 실시간 사업 리스크 통제를 분리해 연결합니다.

  1. 정확도 하나로는 운영할 수 없다4축 평가, hard gate, trace-first regression과 4계층 guardrailConcept45 XP
  2. 실전: 송금 agent 승인 재개고위험 tool call의 중단·승인·idempotent 재개Scenario60 XP

3. 관측성·SLO·비용·지연

원인 재구성과 서비스 예산을 같은 trace schema에 연결합니다.

  1. 문제의 원인을 다시 만들 수 있는가canonical trace, SLI/SLO, error budget와 cost per successful taskConcept45 XP
  2. AI 서비스 관측성 감사trace 재현성·SLO·비용 분해·action threshold 점검Checklist55 XP

4. 실험과 인시던트

변경을 제한된 실험으로 만들고 실패를 학습 자산으로 되돌립니다.

  1. 더 많은 실험보다 더 빠른 결정Decision Score, 실험 창, 사고 분류·격리·회고Concept45 XP
  2. 워크북: 실험·사고 운영 카드판정식·범위·격리·회귀 승격 설계Workbook70 XP

Final challenge

Turn what you learned into a reusable work artifact.

  1. 최종 챌린지 · AI 프로덕션 운영 설계서릴리즈·평가·가드레일·SLO·인시던트를 하나의 제어 체계로Complete lessons first100 XP