인덱싱
indexing
뜻과 개념
수집한 문서를 분석하고 검색에 사용할 수 있도록 처리하는 단계입니다.
어떻게 작동하나요?
인덱싱은 검색엔진이 가져온 문서의 본문, 이미지와 주요 태그 등을 분석해 검색에 활용할 정보를 저장하는 과정입니다. 주소를 발견하는 일이나 서버에서 파일을 가져오는 크롤링과 다른 단계입니다. 이 과정에서는 유사한 문서 중 대표 URL을 선택하는 판단도 이루어질 수 있습니다.
왜 알아야 하나요?
색인에 포함되어야 일반적으로 검색 결과에 등장할 후보가 될 수 있으므로 새 사이트 운영에서 기본적인 점검 대상입니다. 그러나 색인 수를 늘리는 것 자체가 목적이 되면 내용 없는 페이지를 대량 생산하게 될 수 있습니다. 필요한 문서가 정확히 포함되는지를 보는 것이 중요합니다.
실무에서 적용하는 방법
중요한 페이지로 연결되는 내부 링크와 사이트맵을 제공하고 차단 지시, 서버 오류, 중복 URL을 점검합니다. URL 검사에서 마지막 크롤링 시점과 선택된 대표 URL을 확인합니다. 변경 후에는 라이브 테스트와 저장된 색인 정보를 구분하여 추적합니다.
실무에서는 이렇게 봅니다
같은 제품이 추적 매개변수 유무에 따라 여러 주소로 열리는 경우를 생각할 수 있습니다. 검색엔진은 그중 하나를 대표 문서로 선택할 수 있으므로 모든 주소를 별도로 색인시키려 하기보다 내부 링크와 canonical을 대표 주소에 맞춥니다.
주의할 점
색인 요청 버튼을 반복해서 누른다고 우선 처리나 노출이 보장되지는 않습니다. noindex가 적용된 테스트 사이트는 의도적으로 검색에서 제외된 상태일 수 있으므로 공개 여부를 확인하지 않고 차단을 제거해서는 안 됩니다.
자주 묻는 질문
크롤링됨인데 색인되지 않음은 오류인가요?
항상 기술 오류를 뜻하지는 않습니다. 중복이나 콘텐츠의 가치, 처리 상황 등을 함께 살펴야 하며 접근이 가능하다는 사실만으로 모든 문서가 저장되는 것은 아닙니다.
사이트맵 제출만 하면 끝나나요?
사이트맵은 주소 발견을 돕는 정보입니다. 실제 접근 가능성, 페이지의 내용, 대표 URL 판단과 색인 허용 설정까지 확인해야 합니다.