컨텍스트 윈도우
context window
뜻과 개념
모델이 한 번에 참고할 수 있는 입력과 출력의 처리 범위를 가리킵니다.
어떻게 작동하나요?
컨텍스트 윈도우는 모델이 한 번의 응답 생성에서 참고할 수 있는 정보량의 범위입니다. 보통 토큰 단위로 설명하며 사용자 입력뿐 아니라 지시, 대화 이력, 도구 결과와 출력에 필요한 공간도 고려해야 합니다. 모델이 학습한 전체 지식을 뜻하는 것은 아닙니다.
왜 알아야 하나요?
긴 문서 분석이나 여러 단계 작업에서 용량을 넘으면 내용이 잘리거나 요약될 수 있습니다. 충분한 용량이 있어도 모든 위치의 정보를 똑같이 정확하게 활용한다고 보장할 수는 없습니다. 따라서 큰 숫자뿐 아니라 실제 필요한 내용을 찾는 능력을 평가해야 합니다.
실무에서 적용하는 방법
문서 길이와 예상 출력량을 함께 계산하고 중요한 조건을 명확하게 배치합니다. 반복된 자료를 줄이고 관련 문서를 선택해 넣습니다. 작업을 나눌 때는 결정 사항과 원문 위치를 남겨 이후 단계가 근거 없이 요약만 믿지 않도록 합니다.
실무에서는 이렇게 봅니다
수백 페이지의 제품 문서를 분석할 때 모든 내용을 한 번에 넣는 대신 질문과 관련된 버전의 문서를 먼저 선택할 수 있습니다. 가격 정책이 문서 중간에 숨어 있다면 해당 부분을 별도로 찾아 조건과 예외를 함께 확인하는 방식이 유용합니다.
주의할 점
Lost in the Middle 연구는 특정 실험에서 정보 위치에 따라 성능이 달라졌다고 보고합니다. 이를 모든 최신 모델이 동일하게 실패한다는 뜻으로 확대하지 않습니다. 오래된 제품 출시 글의 용량을 현재 모델 사양으로 사용해서도 안 됩니다.
자주 묻는 질문
토큰 수는 한글 글자 수와 같나요?
같지 않습니다. 모델의 토크나이저와 문자열에 따라 나뉘는 방식이 달라지므로 실제 사용 모델의 계산 도구나 응답 사용량을 기준으로 확인해야 합니다.
긴 대화는 영구 기억으로 남나요?
컨텍스트에 포함되는 대화와 별도로 저장되는 기억 기능은 다릅니다. 서비스가 이력을 요약하거나 일부만 전달할 수 있으므로 중요한 조건은 명시적으로 확인하는 편이 좋습니다.