AI 리서치 오류 추적: 중간 요약 검수법

AI 리서치 오류는 원문·중간 요약·최종 주장을 함께 대조합니다. 2026-10-30 기준, 직전 입력에 충실해도 원문과 다를 수 있습니다.

검색 자료를 요약하고 다른 에이전트가 보고서를 완성하는 흐름을 생각해 보겠습니다. 보고서의 잘못된 문장을 발견했지만, 마지막 작성 단계는 전달받은 요약을 그대로 옮겼을 수 있습니다. 이 글은 조건과 인용이 바뀐 경계를 찾는 근거 전달 검수표를 제안합니다.

최종 답변과 호출별 검수는 무엇이 다른가요?#

최종 답변 검수는 보고서의 주장이 원문에 지지되는지 확인합니다. 호출별 검수는 해당 호출이 실제 받은 자료에 비춰 어떤 내용을 바꿨는지 확인합니다. 최종 결과가 틀린 이유를 찾으려면 이 두 비교를 연결해야 합니다.

단계 기록이 없는 시스템이라면 먼저 관측할 수 있는 입출력 경계를 정하세요. 기록은 있지만 답변에 문제가 남는다면 같은 주장과 그 근거를 전달 단계마다 대조합니다. 검색 대상과 권한 자체가 불분명한 경우에는 근거 전달 판정에 앞서 자료 범위부터 확정해야 합니다.

2026-08-25 공개된 Hirsch 외 연구의 호출별 평가 방법은 각 호출의 출력을 그 호출의 입력에 비춰 평가하고 최종 오류를 거슬러 추적합니다. 확인일은 2026-10-30, 검토 버전은 arXiv v1입니다. 연구의 실험 성과를 자사 제품이나 모든 에이전트의 성능으로 옮겨 쓰지는 않습니다.

요약에서 조건이 사라지면 무엇을 놓치나요?#

뒤 단계가 잘못된 요약에 충실하면 국소 비교만으로는 최종 오류를 놓칠 수 있습니다. 인용 문서가 그대로 붙어 있어도 원문의 조건과 범위가 보존됐는지 확인해야 합니다. 따라서 문서 위치를 찾는 검사와 문장이 근거에 지지되는 검사를 분리합니다.

다음은 실제 회사 정책이나 고객 사례가 아닌 가상 예시입니다. 원문 D01에는 “담당자 승인이 완료된 요청만 자동 배정 대상이다.”라고 적혀 있다고 둡니다. 검색 발췌는 이 조건을 보존하지만 요약 S01이 “접수된 요청은 자동 배정 대상이다.”로 바꾸고, 보고 F01이 S01 문장을 그대로 사용한다고 가정합니다. F01 작성 호출에는 S01만 제공하고 D01 본문은 제공하지 않습니다. S01에는 D01 출처 표시가 남아 있다고 둡니다.

이 표는 가정한 문장만 비교한 설계 판정이며 에이전트 실험 결과가 아닙니다. F01을 수정하는 것과 S01의 조건 누락을 고치는 것은 다른 조치입니다. 원문 지지 불충분은 주장이 현실에서 거짓이라고 확정하는 판정과는 다릅니다. 동일한 S01을 다음 실행에도 제공한다면 최종 문장만 고쳐서는 같은 오류가 다시 전달될 수 있습니다.

내용 지지와 인용 전달을 어떻게 나누나요?#

내용 지지는 입력 자료가 출력 주장의 대상·조건·범위를 뒷받침하는지 묻습니다. 인용 전달은 그 주장을 확인할 원문과 근거 연결이 다음 단계에도 남았는지 묻습니다. 링크가 있다는 이유로 내용 검사를 생략하거나, 내용이 맞다는 이유로 출처 누락을 통과시키지 않습니다.

아래는 이번 글의 인수용 분류 제안입니다. 논문 알고리즘의 오류 분류를 그대로 구현한 표가 아닙니다. 내용이 지지되는 경우에도 입력부터 출처가 없었는지, 출력에서 연결이 사라졌는지는 별도로 기록할 수 있습니다.

출처를 찾는 기록 구조는 AI 답변 출처와 원문 스팬 설계를 참고할 수 있습니다. 그 구조를 갖춘 뒤에도 인용 구간의 실제 의미와 출력 문장을 대조하는 검수가 남습니다. 여러 문서의 정보를 합쳤다면 각 문장이 필요한 근거를 모두 물려받았는지도 확인하세요.

Microsoft의 RAG 평가 설명도 입력 근거와의 정합성을 보는 Groundedness와 기대 답변의 누락을 보는 Completeness를 구별합니다. 문서 갱신일은 2026-06-02, 확인일은 2026-10-30입니다. 이 구분만으로 특정 평가 도구가 이번 전달표를 자동 검사한다고 주장하지 않습니다.

어떤 기록이 있어야 변형 경계를 찾을 수 있나요?#

모델 이름만 남기기보다 호출이 실제 받은 입력과 반환한 출력의 연결이 필요합니다. 검색 결과 전체와 선택한 발췌, 문맥을 줄인 뒤 실제 제공한 요약은 다른 입력입니다. 같은 호출 안에서도 도구 응답이나 추가 자료를 받은 순서를 구분해 해당 출력의 근거 범위를 정합니다.

표의 기록은 비식별 표본과 허용된 근거 참조를 전제로 합니다. 숨은 사고과정이나 고객 문서 전량을 로그에 저장하라는 요구가 아닙니다. 민감정보 최소화와 접근·보존·삭제 책임은 AI 감사 로그 요구사항과 함께 정하세요.

분기·재시도·병합이 있다면 단순 시간순 목록만으로 원인을 확정하기 어렵습니다. F01이 실제 사용한 S01 버전과 그 요약의 입력을 따라가야 합니다. 그 연결을 확보하지 못했다면 최초 관측 불일치라고 기록하고, 빠진 단계의 원인이나 개인의 책임을 추정하지 않습니다.

평가자가 통과시켜도 다시 확인할 것은 무엇인가요?#

평가자 판정과 업무상 정답을 같은 것으로 취급하지 않습니다. 합의한 원문·질문·기대 판정으로 조건 누락과 출처 누락의 반례를 대조하세요. 필요한 증거가 없거나 평가가 실패한 표본은 통과 건수에 넣지 않습니다.

앞서 인용한 연구는 LLM 평가자 신뢰성의 한계를 설명하고, 실험의 인용 평가는 본문 문장에 한정하며 표 내용을 제외했다고 밝힙니다. 그러므로 이 글의 전달표가 숫자·표·원문 자체의 오류까지 자동 검증한다는 의미로 읽어서는 안 됩니다.

S01의 생성 규칙이나 입력 범위를 고쳤다면 그 요약을 소비하는 보고서를 다시 검수합니다. 옛 요약·캐시를 쓴 결과와 수정 후 결과를 섞지 않고, 같은 원문과 반례 조건에서 비교합니다. 문서 접근 권한이나 버전이 바뀌었다면 평가 조건도 다시 확정해야 합니다.

근거에 충실한 보고서라도 사용자의 질문에 필요한 내용을 빠뜨릴 수 있습니다. 검색에서 필요한 자료를 못 찾은 경우와 요약 중 조건이 사라진 경우도 나누어 보세요. 전체 도입 판단은 기업 AI의 업무·안전·비용 평가 지표와 함께 다루되, 이번 검수표는 한 주장의 전달 경계에 집중합니다.

알파카랩스와는 어떤 검수 범위를 정하나요?#

알파카랩스는 공개 온톨로지 서비스에서 원천 추적과 권한, 대표 질문의 정답·오답·근거 부족을 구분하는 검수 범위를 협의한다고 설명합니다. 이 글의 단계별 전달표는 그 범위를 논의하기 위한 설계 제안입니다. 해당 연구의 진단 도구를 구현했다거나 딥리서치 오류 감소 실적을 보유했다는 뜻은 아닙니다.

문서 검색과 발췌 검수로 충분하다면 RAG 개선만으로 범위를 정할 수 있습니다. 원천의 이름·개체·관계를 통일해야 하는 과제가 있을 때 온톨로지 필요성을 별도로 검토합니다. 비용·소요 시간은 비식별 표본, 접근 권한, 실제 전달 기록과 연동·운영 범위를 확인한 뒤 정합니다. 다음 근거 검토는 2026-11-30 또는 논문·모델·자료 전달 계약 변경 시점입니다.

AI 리서치 오류 추적에서 자주 묻는 질문은 무엇인가요?#

최종 보고서의 인용이 틀리면 마지막 작성 모델의 문제인가요?

앞선 요약에서 조건이나 출처가 이미 사라졌을 수 있습니다. 마지막 호출이 실제 받은 입력과 그 앞의 자료를 연결해 비교해야 합니다. 기록이 없으면 최초 원인을 확정하지 말고 관측 가능한 불일치 지점과 미확인 구간을 구분하세요.

직전 입력에 충실하면 원문에도 정확한 것 아닌가요?

잘못된 중간 요약을 충실히 옮기면 오류가 최종 보고서까지 이어질 수 있습니다. 호출별 입력·출력의 국소 비교와 최종 주장·원문의 비교는 함께 필요합니다. 원문 자체의 정확성이나 업무 적용 가능성도 별도 확인 대상입니다.

같은 URL이 계속 붙어 있으면 출처 전달은 정상인가요?

URL이 남아 있어도 원문 조건이 빠지거나 다른 주장을 가리킬 수 있습니다. 문서와 근거 구간을 찾을 수 있는지, 그 내용이 해당 주장을 지지하는지 나누어 확인합니다. 여러 자료를 합친 주장이라면 필요한 근거가 모두 전달됐는지도 봅니다.

검수를 위해 에이전트의 내부 사고과정을 저장해야 하나요?

이 글의 검수 대상은 호출에 실제 제공한 자료와 반환된 결과, 도구 응답과 출처 연결입니다. 숨은 사고과정 수집을 전제하지 않습니다. 원문 접근·보존 권한과 민감정보 제한 때문에 필요한 증거를 확보할 수 없으면 검증 불가 상태로 남깁니다.

AI 평가자가 통과시켰으면 사람 검수는 생략해도 되나요?

평가자도 잘못된 근거 구간을 선택하거나 조건의 의미를 놓칠 수 있습니다. 업무 담당자가 합의한 반례와 정답 표본으로 평가 판정을 대조하고 불일치를 검토하세요. 기록 누락·평가 실패·판단 불가는 정상 통과로 합치지 않습니다.