RAG

뜻과 개념

관련 문서를 검색한 뒤 그 내용을 모델 입력에 넣어 답을 생성하는 방식입니다.

어떻게 작동하나요?

RAG는 질문과 관련된 외부 자료를 먼저 찾고 그 자료를 문맥으로 제공하여 답변을 생성하는 방식입니다. 모델이 학습 중 얻은 지식만 사용하는 대신 문서 저장소나 검색 인덱스를 참고합니다. 자료를 찾는 검색 단계와 그 내용을 바탕으로 문장을 만드는 생성 단계가 분리되어 있어 어느 단계에서 오류가 났는지 살펴볼 수 있습니다.

문서를 그대로 한 덩어리로 저장하기보다 검색 가능한 작은 구간과 제목·날짜·권한 같은 정보를 함께 관리하는 경우가 많습니다. 질문과 비슷한 구간을 찾는 방식에는 키워드 검색이나 벡터 검색, 두 방식을 결합하는 방법이 있습니다. 검색된 구간을 다시 순서대로 평가하거나 필요한 부분만 선택할 수도 있습니다. 이 설계에 따라 모델이 받는 근거가 달라지므로 생성 모델만 교체해 모든 문제를 해결할 수는 없습니다.

왜 알아야 하나요?

최근 제품 설명이나 조직 내부 문서처럼 자주 바뀌는 정보를 다루는 데 유용할 수 있습니다. 모델을 다시 학습하지 않고도 검색 대상 자료를 갱신할 수 있기 때문입니다. 하지만 오래된 문서를 검색하거나 근거를 잘못 해석하면 RAG를 사용해도 틀린 답을 만들 수 있어 정확성 보증으로 볼 수는 없습니다.

실무에서 적용하는 방법

정확한 원문과 버전을 확보하고 문서를 검색하기 적절한 단위로 나눕니다. 대표 질문에 대해 필요한 부분이 실제로 검색되는지 먼저 시험한 뒤 최종 답변이 근거를 충실히 반영하는지 평가합니다. 자료가 없거나 서로 충돌할 때는 모른다고 알리거나 추가 확인하도록 규칙을 정하고 접근 권한도 검색 단계에 적용합니다.

오류를 분석할 때는 ‘필요한 문서가 저장소에 있었는가’, ‘질문에 맞는 구간이 검색됐는가’, ‘답변이 그 구간을 정확히 사용했는가’를 차례로 확인합니다. 문서가 없다면 자료 수집 문제이고, 있는데 못 찾았다면 검색과 분할 방식의 문제일 수 있습니다. 올바른 구간이 전달됐는데 조건을 빠뜨렸다면 생성과 답변 검증을 살펴봅니다. 실제 질문과 기대 근거를 묶은 평가 세트를 만들어 두면 문서 갱신이나 검색 방식 변경 뒤 품질이 나빠졌는지도 확인할 수 있습니다.

주의할 점

검색 결과가 관련 없어도 모델이 그럴듯한 답을 만들 수 있습니다. 검색 성공률과 답변 정확도를 따로 평가하고, 긴 문서를 모두 넣는 것이 항상 유리하다고 가정하지 마세요. 민감한 자료는 사용자가 볼 권한이 있는 문서만 검색되도록 해야 합니다.

자주 묻는 질문

함께 알아두면 좋은 용어