# LLMOps & AgentOps course

> Version prompts and models, instrument agent traces, evaluate quality and cost, and run controlled releases with incident-ready operational ownership.

- Canonical: https://learning.reopt.ai/en/courses/llmops-agentops
- Language: en
- HTML: https://learning.reopt.ai/en/courses/llmops-agentops

---

[AI production & governance](/en/tracks/ai-production-governance)

# LLMOps & AgentOps

Operate models, prompts, tools, and traces in production

Version prompts and models, instrument agent traces, evaluate quality and cost, and run controlled releases with incident-ready operational ownership.
Advanced 8 lessons 515 XP About 89 min

Source · Handbook · LLMOps & AgentOps · Source reviewed 2026-07-01
[Start learning](/en/courses/llmops-agentops/lessons/lo-m1-concept)

![LLMOps & AgentOps course](/images/home/track-ai-production.png)
0%

Course progress 9 learning steps

## What you'll learn

- Version model, prompt, tool, data, and policy changes as deployable artifacts.
- Design traces and evaluations that connect agent steps to user outcomes.
- Control latency, token cost, reliability, and rollout risk with explicit SLOs.
- Operate incidents, rollbacks, and continuous improvement from production evidence.

1

## 1. 아키텍처·버전·릴리즈

변경 주기와 실패 반경에 따라 제어면과 실행면을 분리합니다.

- [AI 릴리즈는 코드보다 넓다 Control/Data Plane, 릴리즈 매니페스트, canary와 rollback Concept 45 XP](/en/courses/llmops-agentops/lessons/lo-m1-concept)
- [AI 릴리즈 설계 퀴즈 제어면·실행면·매니페스트·게이트 판정 Quiz 50 XP](/en/courses/llmops-agentops/lessons/lo-m1-quiz)

2

## 2. 평가와 온라인 가드레일

오프라인 점수와 실시간 사업 리스크 통제를 분리해 연결합니다.

- [정확도 하나로는 운영할 수 없다 4축 평가, hard gate, trace-first regression과 4계층 guardrail Concept 45 XP](/en/courses/llmops-agentops/lessons/lo-m2-concept)
- [실전: 송금 agent 승인 재개 고위험 tool call의 중단·승인·idempotent 재개 Scenario 60 XP](/en/courses/llmops-agentops/lessons/lo-m2-scenario)

3

## 3. 관측성·SLO·비용·지연

원인 재구성과 서비스 예산을 같은 trace schema에 연결합니다.

- [문제의 원인을 다시 만들 수 있는가 canonical trace, SLI/SLO, error budget와 cost per successful task Concept 45 XP](/en/courses/llmops-agentops/lessons/lo-m3-concept)
- [AI 서비스 관측성 감사 trace 재현성·SLO·비용 분해·action threshold 점검 Checklist 55 XP](/en/courses/llmops-agentops/lessons/lo-m3-checklist)

4

## 4. 실험과 인시던트

변경을 제한된 실험으로 만들고 실패를 학습 자산으로 되돌립니다.

- [더 많은 실험보다 더 빠른 결정 Decision Score, 실험 창, 사고 분류·격리·회고 Concept 45 XP](/en/courses/llmops-agentops/lessons/lo-m4-concept)
- [워크북: 실험·사고 운영 카드 판정식·범위·격리·회귀 승격 설계 Workbook 70 XP](/en/courses/llmops-agentops/lessons/lo-m4-workbook)

## Final challenge

Turn what you learned into a reusable work artifact.

- 최종 챌린지 · AI 프로덕션 운영 설계서 릴리즈·평가·가드레일·SLO·인시던트를 하나의 제어 체계로 Complete lessons first 100 XP

---

Site guide for agents: https://learning.reopt.ai/llms.txt · Sitemap: https://learning.reopt.ai/sitemap.xml · Contact: https://learning.reopt.ai/contact