정확도 하나로는 운영할 수 없다
4축 평가, hard gate, trace-first regression과 4계층 guardrail
평가는 품질(Q)·안전(S)·효율(E)·안정성(R)을 함께 보고, PII·미승인 side effect 같은 항목은 평균에 섞지 않습니다. 온라인에서는 Input→Intent→Tool→Output 계층마다 차단·강등·승인·재개 정책을 둡니다.
| 계층 | 평가·통제 | 실패 행동 |
|---|---|---|
| Input | PII·injection·scope | 거절·redaction |
| Intent | 정책·업무 허용 범위 | safe mode·사람 분기 |
| Tool | schema·권한·idempotency | 승인 대기·실행 차단 |
| Output | 품질·민감정보·정책 | 수정·fallback·escalation |
- 4축 rubricQ·S·E·R 정의와 가중치를 업무에 맞게 정합니다.
- Hard gate 분리절대 허용하지 않을 안전·권한 실패를 먼저 판정합니다.
- 온라인 통제각 계층의 차단·강등·승인·timeout을 설계합니다.
- Trace 승격운영 실패를 재현 가능한 regression case로 만듭니다.