토큰화
tokenization
뜻과 개념
입력을 모델이 처리하는 작은 단위로 나누는 과정입니다.
어떻게 작동하나요?
토큰화는 텍스트를 모델이 처리할 작은 단위로 나누고 각 단위를 식별값으로 바꾸는 과정입니다. 단어 전체가 한 토큰일 수도 있고 여러 조각으로 나뉠 수도 있습니다. BPE처럼 자주 나타나는 조각을 결합하는 방식이 널리 쓰이지만 모든 모델의 분할 규칙이 동일하지는 않습니다.
왜 알아야 하나요?
입력 길이, 문서 분할과 사용 비용을 계산할 때 중요합니다. 한국어 글자 수나 영어 단어 수를 그대로 토큰 수로 사용할 수 없으며 공백과 기호도 계산에 영향을 줄 수 있습니다. 같은 문서도 모델별 토크나이저에 따라 길이가 다르게 측정될 수 있습니다.
실무에서 적용하는 방법
실제로 사용할 모델에 맞는 토크나이저로 입력을 계산합니다. 긴 문서를 처리할 때 지시문과 도구 설명, 예상 출력 공간도 고려합니다. 문서 분할은 토큰 제한뿐 아니라 문장과 표의 의미가 보존되는지 함께 확인합니다.
실무에서는 이렇게 봅니다
고객 지원 문서를 일정 글자 수로만 나누었는데 코드와 긴 제품명이 포함된 구간이 토큰 제한을 넘을 수 있습니다. 모델에 맞는 계산을 적용하고 제목과 조건을 함께 보존하면 잘린 문맥 때문에 답이 달라지는 문제를 줄일 수 있습니다.
주의할 점
토큰은 검색 키워드나 사람이 느끼는 의미 단위와 항상 일치하지 않습니다. 토큰을 적게 쓰기 위해 필요한 조건과 출처를 없애면 정확성이 떨어질 수 있습니다. 대략적인 환산값은 계획용으로만 쓰고 실제 요청 사용량으로 확인합니다.
자주 묻는 질문
토큰화와 임베딩은 같은가요?
토큰화는 입력을 처리 단위와 식별값으로 나누는 과정이고 임베딩은 대상을 벡터로 표현하는 과정입니다. 연결되어 쓰일 수 있지만 목적과 결과가 다릅니다.
텍스트를 복원할 수 있나요?
tiktoken 같은 방식은 토큰에서 원래 바이트열을 복원할 수 있도록 설계되어 있습니다. 다만 전처리로 문자를 정규화하거나 삭제했다면 그 이전 원문 정보는 별도로 보관해야 합니다.