크롤러빌리티
crawlability
뜻과 개념
크롤러가 사이트의 문서와 자원에 접근할 수 있는 정도입니다.
어떻게 작동하나요?
크롤러빌리티는 검색 크롤러가 페이지와 필요한 자원에 접근해 내용을 가져올 수 있는 상태를 뜻합니다. 내부 링크를 통한 발견, 서버 연결, robots.txt와 방화벽 설정 등이 관계됩니다. 페이지를 가져온 뒤 색인할 수 있는지를 다루는 인덱서빌리티와는 구분됩니다.
왜 알아야 하나요?
좋은 콘텐츠가 있어도 로그인이 필요하거나 서버 오류가 반복되면 검색 시스템이 내용을 확인하기 어렵습니다. 반대로 공개 접근이 가능하더라도 noindex가 있으면 검색에서 제외될 수 있습니다. 어느 단계의 문제인지 나누면 불필요한 콘텐츠 수정을 줄일 수 있습니다.
실무에서 적용하는 방법
중요 페이지에 연결되는 실제 링크가 있는지 확인하고 최종 응답 상태를 점검합니다. robots.txt와 보안 서비스가 검색 봇에 다른 차단 화면을 주는지 살펴봅니다. 렌더링에 필요한 CSS와 자바스크립트, API 응답이 접근 가능한지도 확인합니다.
실무에서는 이렇게 봅니다
홈페이지에서 새 안내 페이지로 가는 버튼이 자바스크립트 클릭 이벤트에만 의존한다면 발견이 어려울 수 있습니다. 실제 href 주소가 있는 링크를 제공하고 페이지가 인증 없이 정상 응답하는지 확인하면 기본적인 접근 경로를 명확히 할 수 있습니다.
주의할 점
내 브라우저에서는 로그인 쿠키 때문에 잘 보이지만 크롤러에는 빈 화면이 나올 수 있습니다. 또한 robots.txt 차단을 검색 결과 삭제 방법으로 혼동하지 않습니다. 차단된 주소도 다른 링크를 통해 URL 자체가 알려질 수 있습니다.
자주 묻는 질문
모든 페이지를 수집 가능하게 해야 하나요?
아닙니다. 관리자와 개인 자료는 보호해야 합니다. 공개하려는 콘텐츠의 접근성과 비공개 영역의 인증을 구분해서 설계하는 것이 중요합니다.
사이트맵에 넣으면 접근 문제가 해결되나요?
주소를 알리는 것과 서버에서 내용을 가져오는 것은 다릅니다. 차단과 오류가 있으면 사이트맵에 포함되어도 수집이 정상적으로 이루어지지 않습니다.