할루시네이션

뜻과 개념

모델이 사실과 다르거나 근거 없는 내용을 그럴듯하게 생성하는 현상입니다.

어떻게 작동하나요?

AI 환각은 그럴듯한 표현으로 사실과 다르거나 주어진 근거에 맞지 않는 내용을 만들어 내는 현상을 가리킵니다. 없는 책이나 출처를 제시하는 경우뿐 아니라 문서에 없는 조건을 요약에 추가하는 경우도 문제가 될 수 있습니다. 문장이 자연스럽다는 사실은 내용이 검증되었다는 뜻이 아닙니다.

연구에서는 학습 자료, 생성 과정, 평가 방식 등 여러 요인을 다룹니다. 근거가 부족한 질문에도 답을 완성하려는 결과가 나타날 수 있으며, 모델이 스스로 확신을 표현했다고 정확도가 확인되는 것은 아닙니다. 한 가지 원인으로 모든 오류를 설명하지 않는 것이 좋습니다.

왜 알아야 하나요?

잘못된 내용을 유창하게 전달하면 독자가 오류를 알아차리기 어렵습니다. 특히 수치, 날짜, 제품 조건, 인용문은 작은 오류도 판단을 바꿀 수 있으므로 검증할 항목을 미리 정하는 것이 중요합니다. AI 도입 효과를 평가할 때도 작성 속도와 수정 비용을 함께 계산해야 합니다.

실무에서 적용하는 방법

답변에 필요한 원자료를 제공하고 자료에서 확인되는 내용과 추정을 구분하게 합니다. 중요한 주장에는 실제로 열리는 출처를 연결하고 그 출처가 해당 주장을 뒷받침하는지 사람이 확인하세요. 문서에 답이 없을 때 부족한 정보를 표시할 수 있는 흐름도 마련합니다.

평가 자료에는 정답이 있는 질문뿐 아니라 잘못된 전제가 있는 질문과 답을 알 수 없는 요청을 포함합니다. 오류가 생기면 검색 자료의 누락인지, 자료를 잘못 읽은 것인지, 없는 사실을 추가한 것인지 나누어 수정해야 합니다.

주의할 점

RAG를 사용하거나 출처 링크를 붙였다고 환각이 완전히 사라지는 것은 아닙니다. 관련 없는 문서를 인용하거나 출처의 뜻을 잘못 설명할 수도 있습니다. 다른 AI에게 같은 답을 확인시키는 방법만으로 사실 확인을 끝내지 말고 원자료와 대조하세요.

자주 묻는 질문

함께 알아두면 좋은 용어