사내 데이터 AI 활용: 우리 회사 문서로 답변하는 챗봇 만드는 법 [2026]
사내 문서·매뉴얼·DB로 답변하는 AI 챗봇을 만드는 법. RAG 작동 원리, 어떤 데이터부터 시작할지, SaaS·외주·자체구축 비교, 보안·온프레미스 옵션까지 정리했습니다.
이 글을 쓴 알파카랩스카카오·네이버·쿠팡 출신, 재하청 0%, 대기업·공공기관 등 18개사+ 레퍼런스
사내 데이터 AI 챗봇은 회사 문서를 모델에 학습시키는 프로젝트가 아니라 원천 문서·DB의 식별·버전·효력·권한·삭제를 유지한 채 질문 시점에 허용된 근거를 검색하고, 답변과 인용·불확실성·업무 행동을 평가·감사하는 RAG 애플리케이션입니다. 공개형 ChatGPT 사용과 API·기업용 제품·자체 RAG는 데이터 처리·관리·통제 범위가 다르므로 최신 공식 조건과 조직의 개인정보·보안 요구로 선택해야 합니다.
문서를 업로드했다고 회사 지식이 되는 것은 아닙니다. 초안·중복·폐기·구버전과 표·스캔·첨부를 구분하고 업무 질문에 필요한 승인 원천을 정해야 합니다. 모델이 이미 아는 일반 지식과 사내 근거가 충돌하면 어떤 원천을 우선하고 언제 답변을 보류할지도 정책으로 둡니다.
RAG는 검색된 문서 안의 공격 지시와 악성 파일, 권한 우회, 민감정보 재조합 위험을 추가합니다. 검색 결과가 허용됐다고 모든 내용을 지침처럼 실행하지 않고 데이터와 명령을 분리합니다. 업무 시스템 쓰기는 답변과 분리해 서버 권한·사람 승인·멱등·대사를 적용합니다.
데이터 유형별 진실 원천·버전·권한·인용·행동 범위를 정한다#
한 인덱스에 섞기 전에 각 데이터가 어떤 질문과 책임을 지원하는지 정의합니다.
| 데이터 | 진실 원천 | 답변 방식 | 금지·제한 |
|---|---|---|---|
| 규정·매뉴얼 | 승인 문서·효력 버전 | 근거 인용·기준일 | 초안·폐기본 기본 제외 |
| 고객·거래 | CRM·ERP·업무 DB | 인증 후 최소 필드 조회 | 문서 인덱스 복제 제한 |
| 메일·회의 | 원문·참석·수신 권한 | 사건별 요약 후보 | 타인 사서함·민감 회의 차단 |
| 업무 행동 | 도구 API·상태 원장 | 조회·초안·승인 쓰기 | 모델 단독 비가역 실행 금지 |
검색·인용·답변·권한·거부·도구 결과를 실제 과업별로 평가한다#
답변 문장만 채점하지 않고 근거와 최종 업무 상태까지 확인합니다.
| 평가 축 | 질문 세트 | 실패 예시 | 출시 게이트 |
|---|---|---|---|
| 검색·근거 | 정상·약어·구버전·충돌 | 답과 인용이 다른 문서 | 근거 적합·최신성 |
| 권한·개인정보 | 타부서·퇴직·민감·재식별 | 스니펫·로그로 정보 노출 | 중대 유출 0 |
| 답변·거부 | 모호·무근거·정책 밖 질문 | 모르는 내용을 확정 | 보류·사람 경로 |
| 도구·복구 | 지연·중복·부분 성공·승인 거절 | 답은 맞지만 업무 상태 오류 | 멱등·대사·롤백 |
실무 시나리오: 삭제된 인사 문서 조각이 캐시에 남아 다른 부서 답변에 인용됐다#
원천 문서는 삭제됐지만 벡터 인덱스·응답 캐시·평가 데이터에서 파생 사본이 제거되지 않은 상황을 가정합니다.
| 단계 | 확인 질문 | 복구 | 종료 증거 |
|---|---|---|---|
| 차단 | 어떤 컬렉션·캐시·답변 경로가 영향받나 | 검색·생성 기능 격리 | 추가 노출 중단 |
| 범위 | 누가 어떤 조각·답변을 봤나 | 원천·인덱스·질의·인용·로그 대조 | 사용자·문서·시간 목록 |
| 교정 | 어떤 파생 사본과 권한을 정리할까 | 인덱스·캐시·로그 정책 삭제·통지 | 원천과 파생 상태 일치 |
| 재발 방지 | 왜 삭제 전파와 대사가 없었나 | 파생 자산 목록·이벤트·전체 대사 | 삭제·퇴직 회귀 통과 |
OpenAI 공식 Responses 도구 인터페이스와 NIST RAG·국내 개인정보 원칙을 구분한다#
OpenAI 공식 Responses API는 텍스트·이미지·파일 입력과 파일 검색·사용자 함수 같은 도구를 연결할 수 있는 현재 인터페이스를 설명합니다. NIST SP 800-1326은 RAG 시스템의 생명주기·위협·완화책을 다루는 최종 지침입니다. 개인정보보호법은 문서·DB 속 임직원·고객 정보 처리의 국내 기본 법적 근거입니다. API·모델·보존·가용성은 변할 수 있고 이 자료들은 특정 구축 방식의 보안·정확성·법률 준수를 보증하지 않으므로 최신 공식 조건과 실제 시스템을 검증해야 합니다.
- OpenAI Responses API 공식 문서: 파일 입력·파일 검색·사용자 함수 등 현재 도구 연결 인터페이스
- NIST SP 800-1326: RAG 시스템 생명주기·위협·완화책의 최종 보안 지침
- 국가법령정보센터 개인정보보호법: 사내 문서·DB의 임직원·고객 정보 처리·보호 법적 근거
원천·권한·수집·검색·프롬프트·답변·도구·평가·삭제를 챗봇 데이터 원장으로 관리한다#
업무별 질문·사용자·결정·진실 원천·비목표를 정하고 문서·DB·메일·회의 데이터의 소유자·버전·효력·보안 등급·ACL·보유·삭제를 목록화합니다. 모든 데이터를 복제하지 않고 실시간 조회·색인·수동 승인 중 데이터별 적합한 연결 방식을 선택합니다.
수집 파이프라인은 문서 ID·버전·조각·원문 위치·권한을 보존하고 질의 시 사용자 ACL을 검색 전에 적용합니다. 답변은 인용·기준일·불확실성·상충 근거를 표시합니다. 도구 호출은 검색 데이터의 지시를 시스템 명령으로 해석하지 않고 서버 스키마·권한·승인·멱등 검증을 거칩니다.
운영은 검색·답변·거부·권한·도구·비용·지연을 질문 유형과 버전별로 평가합니다. 원천 권한·삭제·문서·모델·임베딩·랭커·프롬프트 변경 때 회귀와 파생 데이터 대사를 실행하고 검색·생성·쓰기 기능을 각각 끌 수 있게 합니다.
문서 검색의 인덱스·ACL 설계는 사내 AI 검색엔진 구축에서 이어서 확인하세요. RAG와 파인튜닝 선택은 RAG와 파인튜닝 결정 기준을 함께 보세요. 업무별 평가 지표는 기업 AI 평가 지표도 참고할 수 있습니다.
한 답변의 사용자·원천·권한·조각·인용·도구·삭제까지 재현하면 승인한다#
정상·모호·구버전·충돌 질문, 타부서·퇴직 사용자, 문서 안의 공격 지시, 민감정보 조합, 무근거 답변, 도구 지연·중복·부분 성공을 시험합니다. 권한 밖 정보는 제목·인용·로그에도 나타나지 않고 근거가 없으면 보류해야 합니다.
대체 담당자가 삭제 문서 노출 사고를 찾아 검색·생성을 격리하고 원천·인덱스·캐시·질의·답변·로그 범위를 대사해 삭제·통지를 완료할 수 있어야 합니다. 모델 없이도 원문 검색·업무 시스템 수동 처리·권한 회수가 가능할 때 인수합니다.
핵심 요약
- ✓사내 데이터 챗봇은 문서 학습이 아니라 승인 원천·버전·권한·삭제를 유지하는 RAG 애플리케이션이다
- ✓문서·DB·메일·회의별 진실 원천과 실시간 조회·색인·수동 승인의 연결 방식을 구분한다
- ✓검색 전에 ACL을 적용하고 답변에 인용·기준일·불확실성·충돌과 보류 경로를 표시한다
- ✓문서 속 지시와 시스템 명령을 분리하고 도구 호출은 서버 권한·승인·멱등을 거친다
- ✓삭제·퇴직·공급자 장애에서 검색·생성·쓰기를 독립 중지하고 파생 사본을 대사한다
자주 묻는 질문