# 모델이 속아도 피해는 제한되게

> Gateway→Policy→Orchestrator, 격리 실행과 다층 prompt injection 방어

- Canonical: https://learning.reopt.ai/en/courses/ai-security-compliance/lessons/as-m2-concept
- Language: en
- HTML: https://learning.reopt.ai/en/courses/ai-security-compliance/lessons/as-m2-concept

---

[AI security & compliance](/en/courses/ai-security-compliance) 2. 보안 아키텍처·인젝션 방어 3 / 9

# 모델이 속아도 피해는 제한되게

Gateway→Policy→Orchestrator, 격리 실행과 다층 prompt injection 방어
Concept 45 XP 9 min

AI 사고의 피해는 모델 호출보다 도구 호출에서 커집니다. Gateway→Policy Engine→Orchestrator→LLM/RAG/Tool 구조로 정책과 실행을 분리하고, 외부 문서와 tool 결과를 지시가 아닌 신뢰되지 않은 데이터 로 격리합니다.
프롬프트 인젝션은 신뢰경계 문제 Input Filter→Context Sanitizer→Policy Check→Tool Guard→Output Validator를 계층화하고, 고위험 tool은 allowlist·최소 권한·사람 승인을 기본값으로 둡니다.

| 공격 표면 | 통제 | 침해 시 피해 제한 |
| 사용자 입력 | 분류·정규화·scope | 정책 밖 intent 거절 |
| RAG 문서 | source label·instruction 격리 | read-only context |
| Tool 결과 | provenance·schema 검증 | 허용 tool·output만 사용 |
| 멀티턴 상태 | trusted/untrusted 분리 | 민감 context 제거·재승인 |

- 1 신뢰 경계 그리기 모델·RAG·도구·내부 시스템을 별도 단위로 둡니다.

- 2 정책 선행 오케스트레이션 전에 identity·scope·risk를 판정합니다.

- 3 실행 격리 파일·네트워크·command·credential의 피해 반경을 줄입니다.

- 4 Red-team 회귀 공격 성공 사례를 탐지 규칙과 평가셋에 다시 넣습니다.

실무에 남길 기준

- 필터보다 tool 권한·allowlist·실행 격리가 먼저다
- 외부 문서와 tool output은 지시 권한이 없는 데이터다
- 고위험 자산의 공격 성공률 목표는 0%로 두고 hard gate로 관리한다

[Previous](/en/courses/ai-security-compliance/lessons/as-m1-quiz) Got it · Continue

---

Site guide for agents: https://learning.reopt.ai/llms.txt · Sitemap: https://learning.reopt.ai/sitemap.xml · Contact: https://learning.reopt.ai/contact