모델이 속아도 피해는 제한되게
Gateway→Policy→Orchestrator, 격리 실행과 다층 prompt injection 방어
AI 사고의 피해는 모델 호출보다 도구 호출에서 커집니다. Gateway→Policy Engine→Orchestrator→LLM/RAG/Tool 구조로 정책과 실행을 분리하고, 외부 문서와 tool 결과를 지시가 아닌 신뢰되지 않은 데이터로 격리합니다.
| 공격 표면 | 통제 | 침해 시 피해 제한 |
|---|---|---|
| 사용자 입력 | 분류·정규화·scope | 정책 밖 intent 거절 |
| RAG 문서 | source label·instruction 격리 | read-only context |
| Tool 결과 | provenance·schema 검증 | 허용 tool·output만 사용 |
| 멀티턴 상태 | trusted/untrusted 분리 | 민감 context 제거·재승인 |
- 신뢰 경계 그리기모델·RAG·도구·내부 시스템을 별도 단위로 둡니다.
- 정책 선행오케스트레이션 전에 identity·scope·risk를 판정합니다.
- 실행 격리파일·네트워크·command·credential의 피해 반경을 줄입니다.
- Red-team 회귀공격 성공 사례를 탐지 규칙과 평가셋에 다시 넣습니다.