크롤 버짓
crawl budget
뜻과 개념
검색엔진이 사이트 수집에 할당하는 요청 범위를 설명하는 개념입니다.
어떻게 작동하나요?
크롤 버짓은 검색엔진이 한 사이트에서 수집할 수 있고 수집하려는 URL의 범위를 설명하는 개념입니다. Google 안내는 서버가 감당할 수 있는 수집 능력과 문서를 다시 가져올 필요인 수요를 구분합니다. 계정에서 구매하거나 특정 숫자를 직접 할당받는 광고 예산과는 다릅니다.
왜 알아야 하나요?
매우 크고 자주 갱신되는 사이트에서는 중요한 새 문서가 늦게 수집되는 원인을 찾는 데 도움이 됩니다. 반면 소규모 사이트의 색인 문제를 무조건 예산 부족으로 설명하면 noindex, 중복, 콘텐츠 문제 같은 실제 원인을 놓칠 수 있습니다.
실무에서 적용하는 방법
Search Console의 크롤 통계와 서버 로그에서 응답 시간, 오류, 자주 요청되는 URL 유형을 확인합니다. 무한한 필터 조합이나 세션 주소를 줄이고 내부 링크와 사이트맵을 대표 URL에 맞춥니다. 중요한 변경은 정확한 갱신 정보로 알리되 가짜 변경일을 반복하지 않습니다.
실무에서는 이렇게 봅니다
대형 쇼핑몰에서 정렬·필터 조합이 수백만 개 주소를 만들면 크롤러가 같은 상품 목록을 계속 요청할 수 있습니다. 어떤 조합이 독립적인 가치가 있는지 정하고 불필요한 주소 생성 경로부터 정리하면 수집과 서버 운영을 함께 개선할 수 있습니다.
주의할 점
수집량이 늘었다고 색인이나 순위가 보장되지는 않습니다. Google도 일반적인 소규모 사이트에서는 별도 최적화보다 기본적인 사이트맵과 색인 상태 확인으로 충분할 수 있다고 설명합니다. 트래픽 규모만으로 예산 문제라고 결론내리지 않습니다.
자주 묻는 질문
서버를 빠르게 하면 더 많이 색인되나요?
서버 성능은 수집 가능량에 영향을 줄 수 있지만 수집 수요와 색인 판단은 별도입니다. 속도 개선만으로 모든 페이지가 색인되는 것은 아닙니다.
noindex로 크롤을 줄일 수 있나요?
검색엔진이 noindex를 읽으려면 해당 페이지를 가져와야 합니다. 색인 제외와 불필요한 수집 경로 관리의 목적을 구분하고 적용 방식을 선택해야 합니다.