메타 로봇 태그
meta robots tag
뜻과 개념
HTML에서 검색봇에 색인이나 미리보기 지침을 전달하는 태그입니다.
어떻게 작동하나요?
메타 로봇 태그는 페이지 단위로 검색엔진의 색인과 미리보기 등에 관한 지시를 제공하는 HTML 태그입니다. noindex처럼 검색 색인 제외를 요청하는 값이 대표적입니다. 서버의 X-Robots-Tag 헤더로 비슷한 지시를 전달할 수도 있으며 PDF 같은 비HTML 자료에도 활용할 수 있습니다.
왜 알아야 하나요?
개발 중인 사이트나 검색에 노출하지 않을 페이지를 관리할 때 중요합니다. 다만 방문자의 접근을 차단하는 보안 기능은 아닙니다. 공개 상태를 유지하면서 검색에서 제외하려는 것인지, 인증된 사람에게만 보여줄 것인지 목적부터 구분해야 합니다.
실무에서 적용하는 방법
배포된 HTML의 head와 응답 헤더를 함께 확인합니다. CMS 설정, 서버 설정, CDN 규칙에서 서로 다른 지시가 중복되는지 점검하세요. noindex를 검색엔진이 읽으려면 페이지를 수집할 수 있어야 하므로 robots.txt에서 먼저 막지 않았는지도 봅니다.
개발 환경과 운영 환경의 설정을 분리하고 배포 점검표에 색인 상태를 넣습니다. 검색 공개를 시작할 때는 사이트 전체 지시와 개별 페이지 지시를 모두 확인해야 합니다. 반대로 계속 비공개 준비 중이라면 일부 템플릿만 noindex가 빠지지 않도록 검사합니다.
실무에서는 이렇게 봅니다
사이트 제작 중 전체 noindex를 넣었다가 공개를 시작하는 상황을 생각해 보겠습니다. 화면 소스의 태그만 제거해도 서버 헤더에 noindex가 남아 있으면 원하는 결과와 다를 수 있습니다. 대표 페이지와 상세 페이지의 실제 응답을 함께 확인해야 합니다.
주의할 점
태그를 바꾸면 검색 결과가 즉시 갱신되는 것은 아닙니다. 검색엔진이 다시 방문해 지시를 읽는 시간이 필요할 수 있습니다. 악성 수집기는 규칙을 무시할 수 있으므로 고객 정보나 관리자 자료는 로그인과 권한 검사로 보호하세요.
자주 묻는 질문
robots.txt에서 막으면 noindex가 필요 없나요?
수집 제한과 색인 제외는 다릅니다. 차단하면 noindex를 읽지 못할 수 있고 URL이 다른 경로로 알려질 수도 있습니다. 목적에 맞게 설계해야 합니다.
noindex면 아무도 페이지를 못 보나요?
아닙니다. 주소를 아는 사람은 접근할 수 있습니다. 비공개 자료를 보호하려면 인증과 접근 제어가 필요합니다.