# 정확도 하나로는 운영할 수 없다

> 4축 평가, hard gate, trace-first regression과 4계층 guardrail

- Canonical: https://learning.reopt.ai/courses/llmops-agentops/lessons/lo-m2-concept
- Language: ko-KR
- HTML: https://learning.reopt.ai/courses/llmops-agentops/lessons/lo-m2-concept

---

[LLMOps·AgentOps 운영](/courses/llmops-agentops) 2. 평가와 온라인 가드레일 3 / 9

# 정확도 하나로는 운영할 수 없다

4축 평가, hard gate, trace-first regression과 4계층 guardrail
개념 학습 45 XP 9분

평가는 품질(Q)·안전(S)·효율(E)·안정성(R)을 함께 보고, PII·미승인 side effect 같은 항목은 평균에 섞지 않습니다. 온라인에서는 Input→Intent→Tool→Output 계층마다 차단·강등·승인·재개 정책을 둡니다.
가드레일은 모델 보정이 아니라 피해 제한 정책 조회 실패 시 fail-open하지 않고 제한 모드로 강등합니다. 고위험 tool은 serialized state와 approval_id를 저장한 뒤 같은 run을 idempotent하게 재개합니다.

| 계층 | 평가·통제 | 실패 행동 |
| Input | PII·injection·scope | 거절·redaction |
| Intent | 정책·업무 허용 범위 | safe mode·사람 분기 |
| Tool | schema·권한·idempotency | 승인 대기·실행 차단 |
| Output | 품질·민감정보·정책 | 수정·fallback·escalation |

- 1 4축 rubric Q·S·E·R 정의와 가중치를 업무에 맞게 정합니다.

- 2 Hard gate 분리 절대 허용하지 않을 안전·권한 실패를 먼저 판정합니다.

- 3 온라인 통제 각 계층의 차단·강등·승인·timeout을 설계합니다.

- 4 Trace 승격 운영 실패를 재현 가능한 regression case로 만듭니다.

실무에 남길 기준

- 평가자 모델·prompt·rubric·calibration도 버전 관리한다
- 정책 시스템 실패는 무제한 실행이 아니라 제한 모드로 이어져야 한다
- 운영 trace는 drift 감지와 회귀 평가를 잇는 핵심 자산이다

[이전](/courses/llmops-agentops/lessons/lo-m1-quiz) 이해했어요 · 계속

---

에이전트용 사이트 안내: https://learning.reopt.ai/llms.txt · 사이트맵: https://learning.reopt.ai/sitemap.xml · 문의: https://learning.reopt.ai/contact