사내 AI 검색엔진 만들기: 모든 문서를 한 번에 검색하는 시스템 [2026]
사내 AI 검색엔진을 직접 만들 때 필요한 구조와 단계, 키워드 검색·SaaS·RAG 직접 구축의 차이, 권한 분리와 비용·기간 범위, 자주 빠지는 함정까지 한 번에 정리했습니다.
이 글을 쓴 알파카랩스카카오·네이버·쿠팡 출신, 재하청 0%, 대기업·공공기관 등 18개사+ 레퍼런스
사내 AI 검색엔진은 모든 문서를 하나의 벡터DB에 넣는 시스템이 아니라 원천 저장소의 문서 ID·버전·소유자·보안 등급·접근 권한·유효일·삭제 상태를 동기화하고, 키워드·메타데이터·의미 검색을 결합해 사용자가 볼 수 있는 최신 근거만 반환하며 클릭·무결과·오답·권한·삭제를 운영하는 검색 제품입니다. 생성형 답변은 검색 위의 선택 기능이며 권한 필터와 원문 링크를 대신하지 않습니다.
문서를 잘게 나눠 임베딩하면 원래 파일 권한·폴더 상속·보유기간·삭제 요청이 조각에서 끊길 수 있습니다. 검색 인덱스와 캐시는 새로운 데이터 사본이므로 원천 권한과 삭제를 지속 동기화하고 사용자·그룹·문서 ACL을 검색 전에 강제해야 합니다.
의미가 비슷한 문서를 찾는 것과 사용자가 업무를 끝내는 것은 다릅니다. 개정 전 규정·초안·중복 파일이 상위에 오르면 검색 품질이 좋아 보여도 잘못된 결정을 만듭니다. 문서 상태·버전·효력·소유자·인용 가능성을 랭킹과 화면에 포함하고 무결과·충돌·권한 거부를 측정합니다.
문서 내용보다 식별·버전·효력·소유·권한·삭제 계보를 먼저 인덱싱한다#
검색 조각이 원천 문서의 생애주기와 보안 경계를 잃지 않게 합니다.
| 메타데이터 | 필수 의미 | 검색 활용 | 운영 규칙 |
|---|---|---|---|
| 식별·원천 | 저장소·문서·경로·해시 | 중복·원문 링크 | 동일 문서 관계 보존 |
| 버전·효력 | 승인·시작·종료·대체 문서 | 최신·기준시점 랭킹 | 과거본 명시·기본 제외 |
| 소유·권한 | 소유자·등급·사용자·그룹 | 검색 전 ACL 필터 | 원천 권한 상속·회수 |
| 보유·삭제 | 만료·삭제·법적 보존·인덱스 상태 | 검색·캐시 제외 | 원천부터 파생 삭제 대사 |
관련성·최신성·권한·완전성·과업 성공을 검색 유형별로 평가한다#
평균 검색 점수보다 중요한 질문에서 어떤 문서가 왜 노출되는지 봅니다.
| 평가 축 | 테스트 세트 | 실패 예시 | 출시 기준 |
|---|---|---|---|
| 관련성·정확성 | 키워드·약어·자연어·다국어 | 비슷하지만 다른 제품 문서 | 질문 유형별 상위 결과 |
| 최신성·충돌 | 개정·초안·폐기·기준시점 | 구규정을 최신으로 표시 | 상태·효력 명시 |
| 권한·삭제 | 타부서·퇴직·그룹 변경·삭제 | 제목·스니펫으로 기밀 노출 | 중대 유출 0·전파 시간 |
| 과업 결과 | 클릭·원문 확인·무결과·재검색 | 답은 있지만 업무 실패 | 과업별 성공·피드백 |
실무 시나리오: 퇴직자 그룹 권한이 인덱스에 남아 기밀 문서 스니펫이 노출됐다#
원천 저장소에서는 접근이 회수됐지만 증분 동기화 실패로 검색 결과 제목·요약·캐시에 과거 ACL이 남은 상황을 가정합니다.
| 단계 | 확인 질문 | 복구 | 종료 증거 |
|---|---|---|---|
| 차단 | 어떤 인덱스·캐시·사용자가 영향받나 | 검색 기능·해당 컬렉션 격리 | 추가 노출 중단 |
| 범위 | 누가 어떤 제목·조각·원문을 봤나 | 원천 ACL·검색·클릭·캐시 로그 대조 | 문서·사용자·시간 목록 |
| 교정 | 권한·캐시·파생 답변을 어떻게 지우나 | ACL 재색인·캐시 무효화·통지 | 원천과 인덱스 일치 |
| 재발 방지 | 왜 권한 변경 전파를 감시하지 않았나 | 이벤트·전체 대사·fail closed | 퇴직·그룹 회귀 통과 |
NIST 정보 흐름·접근통제와 RAG 보안·개인정보 원칙을 검색 계보에 적용한다#
NIST SP 800-53은 접근통제와 시스템 안팎의 승인된 정보 흐름 집행 같은 통제를 제공합니다. NIST SP 800-1326은 RAG 시스템의 생명주기·위협·완화책을 다루는 최종 지침입니다. 개인정보보호법은 사내 문서에 포함된 개인·고객 정보 처리의 국내 기본 법적 근거입니다. 이 자료들은 검색 정확도·법률 준수·보안을 보증하지 않으며 실제 저장소·권한 모델·업종 요구에 맞춰 검증해야 합니다.
- NIST SP 800-53 Revision 5: 접근통제·정보 흐름·감사·시스템 보안과 개인정보 통제
- NIST SP 800-1326: RAG 시스템 생명주기·위협·완화책의 최종 보안 지침
- 국가법령정보센터 개인정보보호법: 사내 문서 속 개인·고객 정보 처리·보호의 국내 기본 법적 근거
원천·문서·버전·ACL·조각·인덱스·질의·결과·삭제를 검색 운영 원장으로 관리한다#
저장소별 소유자와 동기화 방식, 문서 ID·버전·효력·보안 등급·권한·보유·삭제를 계약합니다. 수집 전에 민감 컬렉션과 인덱싱 금지 유형을 정하고 파서가 표·첨부·스캔·한글·메타데이터를 어떻게 보존하는지 대표 문서로 검증합니다.
질의 시 사용자·그룹·조직·목적을 확인하고 ACL을 검색 후보 생성 전에 적용합니다. 키워드·필터·벡터·재랭킹을 질문 유형별로 조합하며 결과에 제목·상태·버전·소유자·근거 조각·원문 링크를 표시합니다. 생성 답변은 허용 결과만 사용하고 인용과 주장 일치를 후검증합니다.
운영은 관련성·무결과·재검색·클릭·원문 확인과 함께 권한 거부·ACL 전파 지연·구버전·중복·삭제 대사를 봅니다. 저장소·파서·임베딩·랭커·권한 모델 변경 때 고정 질의와 퇴직·그룹 이동·문서 삭제 회귀를 실행하고 검색·생성 기능을 독립 중지합니다.
검색 위에 답변을 만드는 챗봇은 사내 데이터 AI 챗봇에서 이어서 확인하세요. RAG와 학습 방식의 선택은 RAG와 파인튜닝 결정 기준을 함께 보세요. 검색·답변 감사 필드는 AI 감사 로그 요구사항도 참고할 수 있습니다.
한 결과의 원천 문서·버전·권한·조각·랭킹·클릭·삭제까지 재현하면 승인한다#
키워드·약어·자연어·오타·다국어·표·스캔·첨부, 최신·과거·초안·폐기 문서, 타부서·퇴직·그룹 변경·삭제와 문서 안의 공격 지시를 시험합니다. 제목·스니펫·생성 답변·로그 어디에서도 권한 밖 정보가 나타나면 안 됩니다.
대체 담당자가 ACL 잔존 사고를 탐지해 검색을 격리하고 영향 사용자·문서·노출 범위를 찾아 재색인·캐시 무효화·통지를 완료할 수 있어야 합니다. 벡터 검색을 끈 상태에서도 키워드·필터·원문 검색과 삭제·권한 대사가 가능할 때 인수합니다.
핵심 요약
- ✓사내 AI 검색은 벡터DB가 아니라 원천 문서의 ID·버전·효력·권한·삭제를 동기화하는 제품이다
- ✓검색 전 ACL을 적용하고 제목·스니펫·캐시·생성 답변·로그까지 원천 권한을 상속한다
- ✓키워드·메타데이터·벡터·재랭킹을 질문 유형과 최신성·문서 상태에 맞춰 조합한다
- ✓관련성 외에 구버전·무결과·권한·삭제 전파·원문 확인과 업무 성공을 측정한다
- ✓ACL 잔존 사고에서 검색 격리·범위 확인·재색인·캐시 무효화·통지를 복구한다
자주 묻는 질문