X-Robots-Tag
x robots tag
뜻과 개념
HTTP 응답 헤더로 검색 색인·표시 지시를 전달하는 방식입니다.
어떻게 작동하나요?
X-Robots-Tag는 HTTP 응답 헤더로 검색엔진에 색인과 검색 표시 관련 지시를 전달하는 방법입니다. HTML의 robots 메타 태그와 비슷한 역할을 하지만 PDF나 다른 파일에도 적용할 수 있습니다. 예를 들어 X-Robots-Tag: noindex는 이를 지원하는 검색엔진에 해당 자원을 색인하지 말라고 알립니다.
왜 알아야 하나요?
서버 설정으로 특정 파일 유형이나 경로에 일관된 정책을 적용할 때 유용합니다. 반대로 공통 헤더를 잘못 배포하면 공개할 서비스와 블로그 전체가 검색 제외될 수 있습니다. 페이지 소스의 메타 태그만 확인하면 응답 헤더에 남은 noindex를 놓칠 수 있으므로 두 위치를 함께 점검해야 합니다.
실무에서 적용하는 방법
제외할 자원과 이유를 먼저 정하고 웹서버 또는 애플리케이션에서 응답 헤더를 설정합니다. 실제 URL을 요청해 중복된 지시와 CDN의 추가 헤더가 없는지 확인합니다. 크롤러가 해당 자원에 접근해 지시를 읽을 수 있는지도 검사합니다. 해제할 때는 대표 템플릿과 파일 유형을 나눠 검사하고 검색엔진의 재수집 결과를 기다립니다.
실무에서는 이렇게 봅니다
준비 중인 자료 PDF를 직접 열 수 있게 두되 검색에는 나오지 않게 하려면 파일 응답에 noindex를 적용할 수 있습니다. 하지만 회원만 봐야 하는 계약서라면 이 설정만으로 부족합니다. 주소를 아는 사람은 계속 파일을 받을 수 있으므로 로그인과 접근 권한으로 보호해야 합니다.
주의할 점
robots.txt로 접근을 먼저 막으면 검색엔진이 헤더의 noindex를 읽지 못할 수 있습니다. 서버 설정의 한 줄이 하위 모든 경로에 적용되는지 범위를 확인하세요. 특정 크롤러를 대상으로 하는 문법과 각 검색엔진의 지원 차이도 공식 문서에서 확인해야 합니다.
자주 묻는 질문
HTML 메타 태그와 동시에 써도 되나요?
가능하지만 서로 모순되거나 예상보다 제한적인 지시가 남지 않도록 관리해야 합니다. 한 곳만 제거하고 다른 곳의 noindex를 잊는 실수가 흔하므로 실제 응답을 확인하세요.
헤더를 제거하면 바로 검색에 나오나요?
색인을 허용하는 조건이 바뀐 것이지 즉시 노출 예약이 된 것은 아닙니다. 재수집과 평가가 필요하며 다른 접근·콘텐츠 조건도 충족해야 합니다.