검색로봇이 문서에 접근할 수 있는 조건
네이버 웹문서 검색에 병원 페이지가 뜨도록 준비하려면 네이버 검색로봇이 공개 문서에 접근할 수 있고, 제공되는 내용과 주소를 이해할 수 있어야 합니다. 네이버 서치어드바이저는 검색엔진 최적화를 사이트의 콘텐츠 정보를 검색엔진이 이해할 수 있도록 정리하는 작업이라고 설명합니다. 병원명이나 진료명이라는 단어를 넣었다는 사실만으로 각 검색어에서 같은 결과가 나타난다고 해석하지 않습니다. 준비한 문서와 실제 검색 화면은 각각 읽어야 합니다.
공식 안내는 robots.txt에서 네이버 로봇의 접근을 허용하도록 설명합니다. 특정 로봇을 지정한 설정과 모든 검색엔진 로봇을 대상으로 한 설정을 구별할 수 있습니다. 병원 페이지가 일반 방문자의 브라우저에서 열린다는 사실과 로봇에 적용되는 접근 규칙이 허용되어 있다는 사실은 다른 항목입니다. 문서를 공개했어도 적용된 규칙이 해당 방문을 막고 있지 않은지 읽습니다.
웹 서버나 네트워크 접근을 막는 설정에서도 네이버 검색로봇의 접근을 허용해야 한다는 안내가 있습니다. robots.txt 한 파일만 읽고 전체 접근이 정상이라고 가정하지 않습니다. 파일 수정 권한이 없거나 직접 변경하기 어려운 경우에는 사이트 제작업체나 개발자 등 기술 담당자의 도움이 필요하다고 설명합니다. 글을 새로 등록하는 편집 권한과 서버의 접근 설정을 바꾸는 권한을 같은 것으로 취급하지 않습니다.
네이버 검색로봇의 이름은 Yeti이며 구체적인 버전은 예고 없이 바뀔 수 있다고 안내합니다. 예전 자료에 적힌 버전 문자열 하나가 계속 유지된다고 가정하지 않습니다. 또 로봇의 IP 대역이 언제든지 달라질 수 있으므로 IP를 기준으로 접근을 차단하지 말고 표준 방식인 robots.txt를 활용하라고 권장합니다. 기존의 접근 제어를 읽을 때에도 이름과 버전, IP 대역을 같은 고정값으로 묶지 않습니다.
문서 내용이 제공되는 방식
| 상태 | 네이버 안내 | 읽을 대상 |
|---|---|---|
| noindex가 있는 문서 | 검색 반영에서 제외되는 표시로 설명합니다. | 대상 페이지의 meta 태그 |
| 전체 내용이 JavaScript로 로딩됨 | 표준 HTML 마크업으로 콘텐츠를 제공하도록 권장합니다. | 중요한 정보가 전달되는 구조 |
| 중요한 내용을 frame으로 감쌈 | 중요한 페이지에는 일반 HTML 태그를 권장합니다. | 외부 문서 틀 안에 들어간 실제 정보 |
문서의 주제가 드러나는 제목과 내용
공식 안내는 검색 노출량을 늘리려고 같은 콘텐츠로 구성된 여러 사이트를 만드는 경우 불이익을 받을 수 있다고 설명합니다. 병원의 같은 설명을 여러 사이트에 복제했다는 사실을 서로 다른 고유한 문서를 준비한 사실로 바꾸어 설명하지 않습니다. 공개 주소가 여러 개여도 내용이 동일한지 읽는 항목이 남습니다. 사이트 수를 늘리는 행위 자체가 검색 준비의 완료 기준은 아닙니다.
모든 페이지의 제목을 같게 표현하지 말라는 안내도 있습니다. 제목에는 해당 콘텐츠의 주제를 정확하게 설명할 문구를 쓰도록 권장합니다. 병원 이름이 모든 문서에 들어가더라도 페이지마다 다루는 실제 내용이 무엇인지 알 수 있는지 읽어야 합니다. 이 안내는 제목을 무작위로 다르게 만들라는 규칙이나 진료명을 가능한 한 많이 나열하라는 공식 수량 기준이 아닙니다.
같은 안내는 사이트 제목과 설명이 검색엔진에서 엄격하게 관리되는 항목이라고 설명하며 HTML 마크업 가이드를 참고하도록 연결합니다. 독자에게 보이는 설명을 입력한 사실만으로 검색 시스템의 표시 방식까지 확정된 것으로 취급하지 않습니다. 병원 페이지가 제공하는 내용과 제목·설명이 가리키는 주제가 맞는지 읽는 일이 문서 준비에 포함됩니다. 이 글에서 특정 병원의 제목 위반 여부를 실측 없이 판정하지는 않습니다.
네이버는 본인이 운영하는 소셜 미디어의 계정별 페이지를 연관 채널로 알려 주는 방법도 안내합니다. 네이버 블로그, 카페, 페이스북과 인스타그램 등이 채널의 설명에 포함됩니다. 이것은 웹사이트 문서의 제목이나 본문을 복제하는 방식과 별도의 채널 정보 마크업 안내입니다. 병원 사이트의 문서와 운영하는 계정 페이지의 역할을 구별하며, 채널을 표시한 사실을 모든 진료 페이지의 검색 노출 증거로 대신하지 않습니다.
사이트가 제공할 자료의 역할
| 자료 | 공식 안내에 담긴 내용 | 제공 위치 |
|---|---|---|
| 사이트맵 | 수집 대상 URL 목록을 담은 XML 파일 | 요청의 사이트맵 제출 메뉴 |
| RSS | 사이트의 최신 글에 대한 본문 전체 | 요청의 RSS 제출 메뉴 |
실제 적용된 규칙과 검색 반영
robots.txt 파일의 위치와 반환 형식에도 조건이 있습니다. 네이버의 설정 가이드는 파일이 사이트의 루트 디렉터리에 있어야 하고 일반 텍스트 형식으로 접근할 수 있어야 한다고 설명합니다. 파일 이름이 적힌 문서가 있다는 사실만으로 실제 규칙이 읽힌 것으로 취급하지 않습니다. HTML 문서로 반환되면 안에 유효한 규칙이 있더라도 파일이 없는 상태로 해석될 수 있다는 안내가 있습니다.
검색 반영을 읽는 방법으로 공식 안내는 사이트명을 검색하거나 웹문서 검색에서 site: 질의를 사용하는 방법을 소개합니다. 특정 사이트의 콘텐츠가 검색에 반영되어 있는지를 읽는 질의입니다. 이런 검색에서 사이트 문서가 나온 사실을 모든 진료명에서 같은 문서가 나온다는 결과로 확대하지 않습니다. 관찰한 질의의 범위 안에서 실제 표시된 자료를 읽습니다.
웹마스터도구에는 등록한 웹사이트가 검색결과에 얼마나 노출되고 클릭되었는지를 보여 주는 콘텐츠 노출 및 클릭 리포트도 있습니다. 직접 검색한 한 번의 화면과 보고서의 자료는 읽는 방식이 다릅니다. 특정 검색을 한 사람의 화면만으로 사이트의 전체 노출과 클릭을 대신 설명하지 않습니다. 보고서에 나오는 검색 자료를 병원의 환자 수나 매출로 임의 환산하지도 않습니다.
사이트 메인 페이지가 나오지 않는 경우와 개별 콘텐츠가 반영되지 않는 경우는 공식 안내에서 별도 항목으로 제시됩니다. 홈페이지가 나타난다는 이유만으로 모든 진료 문서의 준비가 끝났다고 처리하지 않습니다. 반대로 한 문서가 보이지 않는다는 사실을 사이트 전체가 차단되었다는 판정으로 바꾸지도 않습니다. 문제가 나타난 범위가 메인인지 개별 페이지인지에 맞춰 해당 안내를 읽습니다.
소유 절차를 진행할 때에는 HTML meta 태그를 활용하거나 파일을 올리는 방법이 제공됩니다. 사이트 등록 자체는 호스트 단위를 지원합니다. 따라서 문서마다의 경로를 각각 독립된 사이트처럼 등록하는 방식으로 페이지 수집을 이해하지 않습니다. 작업을 할 수 있는 사이트 범위와 그 사이트 내부에 공개된 문서의 주소를 나누어 읽으면 제출 대상이 혼동되는 일을 줄일 수 있습니다.
규칙의 적용 범위는 같은 호스트와 프로토콜, 포트 번호의 하위 페이지입니다. 한 주소에서 제공한 robots.txt의 규칙이 다른 호스트나 다른 프로토콜에 자동 적용된다고 가정하지 않습니다. 공개 문서의 주소가 달라진 경우에는 그 주소에 적용되는 파일을 읽어야 합니다. 네이버 문서에서 제공한 구체적인 범위를 기준으로 접근 설정과 대상 페이지를 연결합니다.
robots.txt에 접근할 때 반환되는 HTTP 응답도 규칙 해석에 영향을 줍니다. 네이버 안내는 정상적인 2xx 응답에서는 규칙을 해석해 사용하고, 4xx 응답은 모두 허용으로 해석한다고 설명합니다. 5xx 응답은 모두 허용하지 않음으로 해석하지만 이전에 정상적으로 수집한 규칙을 일시적으로 사용할 수 있다는 조건이 있습니다. 서버 오류 화면에 파일 이름이 보이는 것과 정상 규칙을 읽은 것은 같지 않습니다. 페이지의 접근 설정을 읽을 때에는 파일의 문장뿐 아니라 실제 응답 종류도 함께 읽습니다.
robots.txt의 3xx 응답에서는 HTTP 리디렉션을 다섯 번까지 허용하며, 이를 넘으면 중단한 뒤 모두 허용으로 해석합니다. 이 파일을 가져올 때의 HTML이나 JavaScript 이동은 해석하지 않는다는 안내도 있습니다. 일반 콘텐츠 페이지의 이동 권고와 규칙 파일을 가져오는 처리 조건을 구별합니다.
자주 묻는 질문
사이트맵의 주소가 상대 경로여도 수집하나요?
공식 안내는 제출된 사이트맵과 RSS의 링크가 상대 경로이거나 링크의 호스트가 등록 사이트와 일치하지 않으면 수집을 진행하지 않는다고 설명합니다. 목록에 페이지가 적혀 있다는 사실만으로 충분하지 않습니다. 실제 주소 표현과 등록된 호스트가 맞는지 읽어야 합니다.
nofollow가 있으면 페이지 안의 링크를 따라가나요?
네이버 안내는 nofollow가 표시된 페이지에서 내부 링크 수집을 진행하지 않는다고 설명합니다. 문서 자체의 내용이 제공되는 문제와 그 안의 링크로 다른 페이지를 발견하는 문제를 구별합니다. 연결된 문서가 적게 반영되는 상황이라면 해당 페이지의 링크 수집 조건을 읽습니다.
JavaScript 함수로 만든 버튼도 주소를 정확하게 알 수 있나요?
공식 안내는 링크가 JavaScript 함수로만 표현되면 로봇이 정확한 URL을 파악할 수 없다고 설명합니다. 표준에 맞는 링크 URL 정보를 제공하도록 권장합니다. 사람이 버튼을 눌러 이동할 수 있다는 사실만으로 검색로봇에도 목적지 주소가 명확하게 제공된 것으로 가정하지 않습니다.
페이지 로딩 때 JavaScript로 이동하면 괜찮나요?
콘텐츠가 검색에 반영되지 않는 상황에 대한 안내는 로딩 시 JavaScript를 사용한 이동을 읽도록 설명합니다. 가급적 HTTP 리디렉션이나 HTML head의 meta refresh를 활용하도록 권장합니다. 소유 절차에서의 메인 페이지 이동에 관한 안내는 별도 조건이므로 두 상황을 같은 지원 여부로 묶지 않습니다.
소유 절차의 태그나 파일이 있으면 항상 정상인가요?
공식 안내는 소유용 태그를 frame 안에 넣은 경우 지원되지 않으므로 밖에 기입하도록 설명합니다. 업로드용 원본 HTML 파일이 손상된 경우에도 지원되지 않습니다. 태그나 파일이 존재한다는 사실 외에 위치와 원본 상태를 읽어야 제출 자료를 정상적으로 제공했는지 판단할 수 있습니다.