새 템플릿에서 검증 자료 읽기
리뉴얼 때 서치어드바이저 설정을 옮기는 일은 새 템플릿에서 소유권 검증 자료가 유지되는지와 새 호스트에서 수집 규칙이 전달되는지를 나누어 검사하는 과정입니다. 기존 도구에 사이트가 등록되어 있다는 기록만으로 새 페이지의 상태를 설명할 수는 없습니다. 실제 원본 소스와 검증 결과를 읽어야 하며, 검증 성공을 모든 페이지의 수집 허용으로 보고하지 않습니다.
네이버는 웹 수집 로봇이 자동으로 모은 사이트 정보를 검색에 반영하므로 별도의 검색 등록 절차는 없다고 안내합니다. 웹마스터도구에 사이트를 등록하지 않아도 사이트와 웹문서가 검색 결과에 반영될 수 있습니다. 사이트 등록 뒤 소유확인 절차를 거치면 콘텐츠의 수집·색인·노출 정보를 리포트에서 읽을 수 있다는 설명입니다. 도구를 이용할 자격을 검증하는 과정과 검색 반영을 신청하는 과정을 혼동하지 않습니다.
새 템플릿의 마크업은 서버가 반환한 원본을 기준으로 읽습니다. 네이버의 해당 검증 과정은 JavaScript 실행을 지원하지 않습니다. 브라우저에서 실행된 뒤에는 태그가 나타나더라도 원본에 같은 정보가 있는지는 별개의 질문입니다. 최신 브라우저에서 페이지 소스보기를 이용하거나 주소 앞에 view-source:를 입력하는 방법이 공식 안내에 제시됩니다. 렌더링 후의 화면만 보고 검증 자료가 옮겨졌다고 끝내지 않습니다.
| 이관 뒤 읽을 자료 | 자료가 보여 주는 것 | 섞지 말아야 할 판단 |
|---|---|---|
| 반환된 원본 마크업 | 서버가 제공한 태그와 문서 구조 | 브라우저 실행 후의 상태와 구별 |
| 브라우저 화면 | 이용자가 보는 실행 결과 | 검증 로봇의 입력 자료라고 단정하지 않기 |
| 소유권 검증 결과 | 도구의 검증 절차 결과 | 페이지 수집 규칙과 분리 |
| 접근한 리포트 | 도구가 제공하는 검색 연동 정보 | 개별 주소의 즉시 노출 약속과 구별 |
메타태그를 넣는 위치는 HTML의 head 영역입니다. frame 안의 정보는 검증에서 제외되며 body에 들어간 정보도 제외된다고 공식 문서가 명시합니다. 리뉴얼로 공통 템플릿과 문서 구조가 달라졌다면 예전 삽입 위치를 이름만 보고 옮기기보다 새 원본에서 실제 소속을 읽어야 합니다. 사용자에게 보이는 본문에 태그 문자열이 나타난 것이 head의 마크업이라는 뜻은 아닙니다.
이 검증은 JavaScript·meta refresh·cookie를 이용한 브라우저 단계의 리디렉션도 지원하지 않습니다. 이동 처리가 필요하면 웹서버에서 이루어지는 HTTP 리디렉션인 301이나 302를 사용하도록 안내합니다. 브라우저가 다른 페이지에 도착했다는 결과만으로 그 페이지의 메타태그가 검증되었다고 판단하지 않습니다. 구체적인 서버 설정은 실제 구성에 맞추어 별도로 다룰 항목입니다.
이전한 호스트의 robots.txt 응답
robots.txt는 검색로봇의 수집을 허용하거나 제한하는 규칙을 전달합니다. 네이버 안내는 파일이 사이트의 루트 디렉터리에 있어야 하고 로봇 배제 표준을 따르는 일반 텍스트로 작성되어야 한다고 설명합니다. 리뉴얼 뒤 파일 이름이 남아 있다는 사실만 아니라 새 공개 호스트에서 text/plain으로 접근되는지를 읽어야 합니다. 소유권 검증 태그가 있는 HTML과는 다른 파일입니다.
규칙이 적용되는 주소의 범위도 명확히 해야 합니다. robots.txt의 규칙은 같은 호스트·프로토콜·포트 아래의 페이지에만 유효하다는 네이버 설명이 있습니다. www 유무나 HTTP와 HTTPS가 바뀌었다면 이전 주소에서 정상적인 규칙을 읽었다는 사실만으로 새 주소에 적용된다고 생각하지 않습니다. 이관 대상의 실제 공개 주소를 기준으로 응답을 검사합니다.
| robots.txt의 HTTP 응답 | 네이버의 처리 설명 | 이관 결과에서 구별할 점 |
|---|---|---|
| 2xx | 표준에 맞는 규칙을 해석 | 본문 형식도 함께 읽기 |
| 3xx | HTTP 이동을 다섯 번까지 허용 | 초과하면 중단 후 모두 허용으로 해석 |
| 4xx | 모두 허용으로 해석 | 파일 없음과 차단 성공을 혼동하지 않기 |
| 5xx | 모두 허용하지 않음으로 해석 | 이전 정상 규칙이 일시적으로 사용될 수 있음 |
정상 응답이라도 파일이 HTML로 돌아오면 다른 해석이 생길 수 있습니다. 공식 안내는 안에 유효한 규칙이 있어도 robots.txt가 없는 것으로 해석될 수 있다고 밝힙니다. 사이트의 공통 오류 화면이나 다른 HTML이 해당 주소에서 표시되는지는 실제 본문을 읽어야 알 수 있습니다. 상태 코드만 성공으로 표시되었다고 수집 제한이 정확하게 전달된 것으로 보고하지 않습니다.
robots.txt가 루트에 없으면 네이버 검색로봇은 모든 콘텐츠의 수집을 허용한 것으로 간주한다는 설명도 있습니다. 파일을 새 서버로 복사하지 못한 상태가 곧 수집을 막는 상태라고 가정하지 않습니다. 반대로 필요한 공개 자료를 대상으로 모든 로봇의 수집을 막는 규칙을 그대로 남겨 두는 구성도 사이트의 목적과 맞는지 조사해야 합니다. 실제 의도와 전달된 규칙을 각각 읽는 과정입니다.
비공개 자료의 보호는 이 파일만으로 끝낼 수 없습니다. 네이버 문서는 별도 협약이나 특수 목적의 로봇 등이 규칙을 참조하지 않거나 모두 준수하지 않을 수 있다고 설명합니다. 외부에 노출되면 안 되는 개인정보 같은 콘텐츠에는 로그인 등 다른 보호·차단 방법이 필요합니다. 수집 제한 규칙을 이관했다는 결과를 접근 권한을 보호했다는 결과로 바꾸지 않습니다.
페이지와 연결된 자원의 규칙
새 페이지가 수집을 허용하더라도 필요한 자원은 다른 경로에 있을 수 있습니다. 네이버는 HTML에 포함된 JavaScript나 CSS를 검색로봇이 페이지의 일부로 간주할 수 있다고 안내합니다. 그 자원을 읽지 않으면 운영자가 의도한 것과 다른 문서로 해석될 가능성도 설명합니다. 리뉴얼로 자원 주소가 바뀌었다면 그 경로의 규칙도 문서를 참조하는 관계에 맞게 읽어야 합니다.
해당 자원은 때때로 robots.txt 설정과 관계없이 접근을 시도하는 경우가 있다는 설명도 있습니다. 안내는 자원 URL의 규칙을 참조 웹문서와 같게 설정하거나 기본적으로 수집을 허용하도록 권고합니다. 이 설명을 모든 비공개 파일을 공개해야 한다는 의미로 확대하지 않습니다. 공개 문서의 해석에 필요한 자원과 보호할 자료는 실제 구성에 따라 구별할 항목입니다.
파비콘도 원본 페이지 콘텐츠의 일부로 읽는다는 네이버 설명이 있습니다. 페이지는 허용하면서 파비콘 경로는 제한하는 모순된 설정에서는 로봇이 예외적으로 규칙을 따르지 않고 수집을 시도할 수 있습니다. 따라서 검색에 노출되는 문서의 파비콘은 문서와 같은 규칙을 두거나 기본적으로 허용하도록 안내합니다. 새 아이콘 파일만 교체하고 자원 경로의 규칙은 예전 상태로 둔 구성도 검사 대상이 될 수 있습니다.
사이트맵의 위치는 robots.txt에 기록해 검색로봇이 사이트 콘텐츠를 더 잘 수집하도록 도울 수 있습니다. 리뉴얼로 사이트맵의 공개 주소가 바뀌었다면 그 위치를 가리키는 값도 실제 게시 파일과 맞는지 읽습니다. 이 표시는 사이트맵을 찾는 단서이며, 그 안의 모든 주소가 즉시 검색에 나타났다는 증거로 취급하지 않습니다. 자료가 어디에 있는지를 알리는 역할에 맞게 해석합니다.
네이버 웹마스터도구의 robots.txt 도구에는 수집·검증과 간단 생성 기능이 있습니다. 루트의 파일을 수정한 뒤 빠르게 알리고 싶다면 수집 요청을 사용할 수 있고 설정된 로봇 규칙에 따라 웹페이지의 수집 가능 여부를 시험할 수 있습니다. 실제 문서 주소를 대상으로 이 규칙 검사를 읽는 일은 앞에서 진행한 소유권 검증과 다른 질문에 답합니다.
간단 생성 기능으로 파일을 만들고 다운로드했다면 사이트 루트에 올린 뒤 수집 요청을 진행하는 방식이 안내됩니다. 다운로드만 한 상태와 새 호스트에서 파일이 제공되는 상태는 다릅니다. 생성한 규칙의 대상과 실제 응답을 읽은 뒤 이관 결과를 설명해야 합니다. 특정 병원의 검색 복구 날짜나 유입 증가량은 이 기능 설명에서 정할 수 없습니다.
자주 묻는 질문
모든 페이지를 막는 예시를 그대로 사용해도 되나요?
네이버 문서는 모든 로봇에 대해 전체 경로의 수집을 비허용하는 예시가 어떤 페이지도 수집 대상에 포함하지 않아 권장되지 않는다고 설명합니다. 규칙 예시를 현재 사이트의 목적과 무관하게 복사하지 않습니다.
네이버 로봇만 허용하는 구분도 있나요?
공식 예시에는 모든 로봇을 대상으로 한 규칙과 네이버 검색 서비스용 Yeti를 대상으로 한 규칙을 구분하는 구성이 있습니다. 예시에서 User-agent: *는 전체 로봇을 대상으로 하고 User-agent: Yeti는 네이버 검색 서비스용 로봇을 명시합니다. 전체 대상의 Disallow: /와 Yeti 대상의 Allow: /가 각각의 그룹에 적혀 있으므로, 행의 문자열만 떼어 새 파일로 옮기는 것보다 대상 그룹과 함께 읽어야 예시의 구성이 유지됩니다.
루트 페이지에만 허용을 줄 수도 있나요?
공식 안내는 전체 경로를 제한하고 루트 페이지를 허용하는 예시도 제시합니다. 이런 구성은 모든 하위 콘텐츠를 공개하는 규칙과 같지 않으므로 원하는 수집 범위를 구별해 읽습니다.
관리자나 개인정보 페이지는 어떻게 다루나요?
네이버는 로봇 방문을 허용하지 않아야 하는 관리자·개인정보 페이지를 수집 비허용 대상으로 설명합니다. 해당 예시는 Yeti를 대상으로 Disallow: /private*/를 적고 /private-image와 /private-video 등을 설명합니다. 이 경로명은 규칙의 예시이며 실제 병원의 관리자 주소 목록이 아닙니다. 기존 사이트의 비공개 경로 이름이 리뉴얼 뒤에도 같은지는 원본 주소 자료로 대조해야 합니다.
robots.txt의 브라우저 이동도 해석하나요?
robots.txt 응답 안내는 HTML이나 JavaScript를 통한 이동을 해석하지 않는다고 명시합니다. 사람의 브라우저에서 파일에 도착한 것과 검색로봇이 HTTP 응답을 읽는 것을 구분해야 합니다.