LLM 보안 아키텍처: 프롬프트 인젝션·권한·데이터 유출 체크 [2026]
기업 LLM 보안 아키텍처에 필요한 위협 모델, 프롬프트 인젝션 방어, RAG 문서 권한, 도구 실행 승인, 출력 검증과 감사 로그를 정리했습니다. 생성형 AI가 잘못된 지시를 따르더라도 개인정보와 사내 기밀 유출, 과도한 시스템 실행을 제한하는 계층형 보안 체크리스트입니다.
이 글을 쓴 알파카랩스카카오·네이버·쿠팡 출신, 재하청 0%, 대기업·공공기관 등 18개사+ 레퍼런스
LLM 보안 아키텍처는 입력 필터 하나로 완성되지 않습니다. 사용자가 넣는 프롬프트, 검색 문서, 모델이 호출하는 도구, 생성된 답변과 운영 로그까지 각각 다른 위협을 가정하고 권한과 검증 지점을 배치해야 합니다.
생성형 AI는 자연어를 지시와 데이터로 동시에 처리하므로 악성 문서가 시스템 행동을 바꾸거나 권한 밖 정보를 유도할 수 있습니다. 모든 공격을 모델이 알아서 거절할 것이라 기대하지 말고, 애플리케이션 계층에서 입력·검색·도구·출력을 분리 통제하는 방어 구조가 필요합니다.
기능별 데이터 흐름과 공격면을 먼저 그리세요#
사용자 입력이 어디에 저장되고 어떤 검색 인덱스와 모델로 전달되며 어떤 도구를 호출하는지 순서대로 그립니다. 외부 URL, 업로드 문서, 플러그인과 로그 분석 도구도 데이터가 이동하는 경계에 포함해야 합니다.
기밀 유출, 프롬프트 인젝션, 과도한 도구 실행, 부정확한 답변과 비용 폭증을 기능별 위협으로 나누세요. 위험의 영향과 발생 가능성을 평가하면 모든 곳에 같은 통제를 넣는 낭비를 줄일 수 있습니다.
사용자 지시와 외부 문서를 같은 권한으로 믿지 마세요#
검색된 문서나 웹페이지에는 모델에게 이전 지시를 무시하라고 요구하는 문장이 포함될 수 있습니다. 외부 콘텐츠는 참고 데이터로 표시하고 시스템 정책과 도구 권한을 덮어쓸 수 없도록 프롬프트 구조와 실행 계층을 분리합니다.
업로드 형식, 파일 크기, URL 대상과 추출 텍스트를 검증하고 민감 정보는 모델 호출 전에 탐지·마스킹하세요. 차단만 하지 말고 왜 처리할 수 없는지 사용자에게 안전한 대안을 안내해야 우회 입력을 줄일 수 있습니다.
RAG와 도구 호출 모두 사용자 권한을 다시 확인하세요#
검색 단계에서 부서와 문서 등급을 필터링하지 않으면 모델은 권한 밖 문서를 근거로 답할 수 있습니다. 답변 생성 후 가리는 방식보다 검색 전에 접근 가능한 문서만 후보로 제한하는 것이 안전합니다.
도구 실행은 모델의 판단이 아니라 서버의 정책으로 승인해야 합니다. 사용자의 실제 권한, 요청 목적, 금액과 대상 범위를 확인하고 중요한 변경은 사람 승인이나 재인증을 요구하세요.
출력 검증과 보안 관측을 분리해 운영하세요#
개인정보, 비밀값, 금지 표현과 요구된 JSON 형식을 답변 전 검사하고 위험하면 차단하거나 안전한 응답으로 대체합니다. 모델의 자기 검토만 의존하지 말고 규칙, 분류기와 업무 검증 로직을 조합하세요.
보안 로그에는 정책 위반 유형, 검색 문서 ID, 도구 요청과 승인 결과를 남기되 원문 민감정보는 최소화합니다. 반복적인 공격 패턴과 비정상 토큰 사용량, 거절률 급증에 경보를 설정해야 합니다.
출시 전 레드팀 테스트와 운영 재평가를 반복하세요#
정상 질문뿐 아니라 역할 위장, 인코딩된 지시, 악성 문서, 권한 상승, 대량 요청과 도구 오용 시나리오를 시험합니다. 발견한 실패는 재현 가능한 테스트로 저장해 모델이나 프롬프트 변경 시 다시 실행하세요.
새 데이터 소스와 도구가 추가되면 위협 모델도 갱신해야 합니다. 정기적으로 접근 권한, 비밀값 노출, 로그 보관과 공급자 설정을 점검하고 심각한 이상이 발생했을 때 기능을 즉시 중지할 책임자를 지정하세요.
| 보안 계층 | 주요 위험 | 핵심 통제 |
|---|---|---|
| 입력 | 민감정보·악성 지시 | 검증·마스킹·속도 제한 |
| 검색 | 권한 밖 문서 노출 | 사전 권한 필터·출처 기록 |
| 모델 | 정책 우회·환각 | 시스템 정책·업무 검증 |
| 도구 | 과도한 실행·권한 상승 | 서버 재검증·승인·한도 |
| 출력·로그 | 기밀 유출·추적 불가 | 출력 검사·마스킹 로그 |
함께 보면 좋은 가이드#
- 기업 AI 보안 교육: 사용자 행동과 사고 보고 절차를 함께 설계합니다.
- AI 감사 로그 요구사항: 운영에서 남겨야 할 추적 항목을 확인합니다.
- 휴먼 인 더 루프 설계: 중요 실행에 사람 승인을 배치하는 기준을 봅니다.
“LLM 보안은 모델을 믿게 만드는 일이 아니라 모델이 틀리거나 속아도 피해가 제한되게 만드는 일입니다.”
핵심 요약#
핵심 요약
- ✓입력부터 로그까지 데이터 흐름과 기능별 위협을 먼저 그린다
- ✓외부 문서는 참고 데이터로 취급하고 시스템 정책과 분리한다
- ✓검색과 도구 실행 직전에 사용자 권한을 서버에서 재검증한다
- ✓레드팀 실패 사례를 회귀 테스트로 저장하고 변경마다 반복한다
자주 묻는 질문