TF-IDF
tf idf
뜻과 개념
문서 내 단어 빈도와 문서 집합에서의 희소성을 결합하는 통계적 가중치입니다.
어떻게 작동하나요?
TF-IDF는 문서 안에서 단어가 얼마나 자주 나오고 전체 문서 집합에서는 얼마나 드문지를 조합한 가중치입니다. TF는 해당 문서의 빈도, IDF는 여러 문서에 두루 나오는 흔한 단어의 영향을 낮추는 역할을 합니다. 구체적인 정규화와 계산 방식에는 여러 변형이 있어 도구마다 값이 같지 않을 수 있습니다.
왜 알아야 하나요?
문서 분류나 검색에서 특징적인 표현을 찾는 기초 도구로 이해할 수 있습니다. 그러나 현재 Google 검색 순위를 그대로 계산하는 공개 공식은 아닙니다. 단어가 높은 가중치를 가진다고 그 단어를 많이 추가해야 한다는 처방으로 바꾸면 문장이 부자연스러워지고 실제 질문을 놓칠 수 있습니다.
실무에서 적용하는 방법
비교할 문서 집합과 전처리 방법을 먼저 정합니다. 한국어라면 단어를 어떤 단위로 나누고 조사와 띄어쓰기를 어떻게 처리하는지도 결과에 영향을 줍니다. 추출된 표현을 읽어 빠진 주제가 있는지 검토하되 필요 없는 표현은 넣지 않습니다. 점수보다 그 주제가 독자의 이해에 필요한지 판단하는 보조 자료로 사용하세요.
실무에서는 이렇게 봅니다
백링크 글만 모은 집합에서는 ‘백링크’가 거의 모든 문서에 등장해 차별성이 낮을 수 있습니다. 그중 ‘리다이렉트 체인’이 특정 글에 자주 나오면 해당 글을 구분하는 단서가 됩니다. 비교 집합을 전체 인터넷 주제로 넓히면 같은 단어의 상대적인 가중치도 달라질 수 있습니다.
주의할 점
TF-IDF는 기본적으로 단어의 순서와 깊은 의미를 충분히 표현하지 못합니다. 긍정과 부정, 같은 단어의 다른 뜻도 별도 처리가 필요할 수 있습니다. 경쟁 글의 단어를 그대로 채워 점수만 맞추는 방식은 독립적인 분석이나 경험을 만들어 주지 않습니다.
자주 묻는 질문
키워드 밀도와 같은가요?
키워드 밀도는 한 문서 안의 비율에 초점을 맞추지만 TF-IDF는 다른 문서에서의 분포도 고려합니다. 계산 대상이 다르므로 같은 수치로 비교할 수 없습니다.
점수가 높으면 상위 노출되나요?
그런 보장은 없습니다. 문서의 통계적 특징과 검색엔진의 전체 평가를 구분해야 하며, 필요 없는 단어를 넣어 숫자만 올리는 방식은 피해야 합니다.