# 정확도 하나로는 운영할 수 없다

> 4축 평가, hard gate, trace-first regression과 4계층 guardrail

- Canonical: https://learning.reopt.ai/en/courses/llmops-agentops/lessons/lo-m2-concept
- Language: en
- HTML: https://learning.reopt.ai/en/courses/llmops-agentops/lessons/lo-m2-concept

---

[LLMOps & AgentOps](/en/courses/llmops-agentops) 2. 평가와 온라인 가드레일 3 / 9

# 정확도 하나로는 운영할 수 없다

4축 평가, hard gate, trace-first regression과 4계층 guardrail
Concept 45 XP 9 min

평가는 품질(Q)·안전(S)·효율(E)·안정성(R)을 함께 보고, PII·미승인 side effect 같은 항목은 평균에 섞지 않습니다. 온라인에서는 Input→Intent→Tool→Output 계층마다 차단·강등·승인·재개 정책을 둡니다.
가드레일은 모델 보정이 아니라 피해 제한 정책 조회 실패 시 fail-open하지 않고 제한 모드로 강등합니다. 고위험 tool은 serialized state와 approval_id를 저장한 뒤 같은 run을 idempotent하게 재개합니다.

| 계층 | 평가·통제 | 실패 행동 |
| Input | PII·injection·scope | 거절·redaction |
| Intent | 정책·업무 허용 범위 | safe mode·사람 분기 |
| Tool | schema·권한·idempotency | 승인 대기·실행 차단 |
| Output | 품질·민감정보·정책 | 수정·fallback·escalation |

- 1 4축 rubric Q·S·E·R 정의와 가중치를 업무에 맞게 정합니다.

- 2 Hard gate 분리 절대 허용하지 않을 안전·권한 실패를 먼저 판정합니다.

- 3 온라인 통제 각 계층의 차단·강등·승인·timeout을 설계합니다.

- 4 Trace 승격 운영 실패를 재현 가능한 regression case로 만듭니다.

실무에 남길 기준

- 평가자 모델·prompt·rubric·calibration도 버전 관리한다
- 정책 시스템 실패는 무제한 실행이 아니라 제한 모드로 이어져야 한다
- 운영 trace는 drift 감지와 회귀 평가를 잇는 핵심 자산이다

[Previous](/en/courses/llmops-agentops/lessons/lo-m1-quiz) Got it · Continue

---

Site guide for agents: https://learning.reopt.ai/llms.txt · Sitemap: https://learning.reopt.ai/sitemap.xml · Contact: https://learning.reopt.ai/contact