개별 주소의 발견과 접근부터 조사하기
Google에 병원 사이트가 수집되지 않는 것 같을 때에는 검색에 안 보인다는 관측을 곧바로 사이트 전체의 접근 장애로 판단하지 않습니다. 조사할 정확한 URL을 정하고 주소의 발견 경로와 실제 가져오기 조건을 나누어 읽습니다. Google의 기술 요구사항은 차단되지 않은 접근, HTTP 200 응답, 색인 가능한 콘텐츠를 제시합니다. 이를 충족해도 색인 자체를 보장하지 않는다는 제한을 함께 읽습니다.
먼저 Google이 해당 주소를 다루는 자료가 있는지와 현재 사이트에서 그 주소로 이어지는 경로가 있는지를 조사하는 절차를 제안합니다. 이미 발견한 주소의 접근 실패와 아직 발견할 연결이 불분명한 주소는 다음 질문이 다릅니다. 검색 화면의 부재만으로 크롤러가 한 번도 방문하지 않았다고 판정하지 않고 실제로 얻은 자료의 상태와 범위를 표시합니다.
중소 규모 사이트에서 크롤링이 충분하지 않다고 판단된다면 사이트맵을 갱신하고 페이지를 차단하지 않는지 조사하라는 안내가 크롤링 통계 도움말에 있습니다. 이때 현재 공개 문서와 제출 목록의 대상이 같은지 대조하는 방법을 제안합니다. 사이트맵을 변경했다는 사실을 크롤러가 그 주소의 본문을 가져왔다는 결과로 바꾸어 기록하지 않습니다.
| 개별 주소의 질문 | 조사할 자료 | 다음 판단 | 구별할 상태 |
|---|---|---|---|
| 어느 URL을 대상으로 하는가 | 실제 공개 주소 | 조사 입력과 대상 대응 | 다른 주소의 결과 제외 |
| 찾아갈 경로가 있는가 | 현재 연결과 사이트맵 목록 | 발견 자료의 조사 | 발견과 가져오기 구별 |
| 접근할 수 있는가 | 차단 규칙과 URL 시험 | 공개 목적과 실패 이유 대조 | 한 문서와 전체 장애 구별 |
| 정상 내용을 제공하는가 | 응답 코드와 실제 본문 | 콘텐츠 처리 조건 조사 | 조건 통과와 색인 구별 |
기술 요구사항은 일반 사용자가 읽을 수 있고 Googlebot의 크롤링을 막지 않는 페이지를 대상으로 설명합니다. 로그인해야 읽는 자료는 Googlebot이 크롤링하지 않는다고 안내합니다. 공개할 문서인지 먼저 판단해야 접근 설정을 변경할 이유가 있는지 결정할 수 있습니다. 검색에 넣을 목적이 없는 문서의 인증을 일괄 제거하는 순서를 제시하지 않습니다.
특정 페이지는 URL 검사 도구로 시험할 수 있으며 HTTP 상태 코드도 읽을 수 있다고 기술 요구사항은 안내합니다. HTTP 200으로 제공되는지와 지원하는 파일 형식의 텍스트가 있는지를 각각 조사합니다. 가져온 내용이 사이트의 오류 안내라면 정상 응답이라는 이름만으로 원하는 본문이 제공됐다고 답하지 않습니다. 현재 자료가 어떤 문서를 전달하는지 읽는 절차를 제안합니다.
Googlebot을 robots.txt로 막으면 크롤링이 차단되지만 주소가 검색결과에 남을 수 있다고 기술 요구사항은 설명합니다. 색인 제외에는 noindex를 사용하면서 URL을 크롤링할 수 있게 해야 한다고 안내합니다. 차단 규칙의 존재를 미노출 원인의 확정 결과로만 사용하지 않습니다. 실제 공개 목적과 적용된 규칙의 관계를 조사해 수정 대상을 정할 수 있습니다.
넓은 범위의 실패가 있을 때 호스트 상태 읽기
여러 문서에서 접근 실패가 나타나 광범위한 장애가 의심될 때에는 크롤링 통계의 호스트 상태를 조사할 수 있습니다. 다만 도움말은 고급 사용자를 위한 보고서이며 페이지가 1,000개 미만이면 사용하지 않거나 그 정도의 세부정보를 다루지 않아도 된다고 설명합니다. 소수 문서의 문제부터 조사하는 일을 건너뛰고 모든 작은 병원 사이트에 고급 분석을 필수 업무로 제시하지 않습니다.
보고서는 루트 수준 속성에서만 사용할 수 있습니다. 도메인 속성 또는 루트 수준의 URL 접두어 속성이 해당한다고 안내합니다. 현재 접근 가능한 속성이 보고서의 대상 조건에 맞는지 읽습니다. 자료를 볼 수 없는 상황을 호스트가 정상이라는 결론으로 채우거나, 화면이 없다는 이유만으로 서버가 장애 상태라고 추정하지 않습니다.
호스트 상태는 Google이 크롤링하려고 할 때 가용성 문제가 있었는지 설명합니다. 최근 90일에 중대한 문제가 없으면 별도 조치를 취하지 않아도 된다고 도움말은 안내합니다. 90일 안의 문제가 일주일보다 전에 있었는지, 지난주에 있었는지는 서로 다른 상태입니다. 오래된 일시 오류와 최근 반복 가능성을 나누어 현재 조사가 필요한지 판단합니다.
| 호스트 상태 항목 | 실패가 뜻하는 내용 | 조사할 조건 | 구별할 범위 |
|---|---|---|---|
| robots.txt 가져오기 | 파일 요청의 수용 가능한 응답 문제 | 응답 코드와 가용성 | 본문 URL의 응답과 구별 |
| DNS 변환 | 호스트 인식 또는 응답 실패 | 등록 설정과 연결 상태 | 발견 경로의 부재와 구별 |
| 서버 연결 | 응답 없음 또는 불완전한 응답 | 해당 시각의 연결과 응답 | 문서의 내용 평가와 구별 |
| 문제 발생 시점 | 최근 가용성 상태의 변화 | 마지막 문제의 발생일 | 현재 시험과 과거 관측 구별 |
가용성이 빨간색이면 robots.txt와 DNS, 호스트 연결의 세부정보를 읽도록 도움말은 안내합니다. 각 카테고리의 차트에서는 기준선을 넘은 실패와 마지막 문제의 최근 발생일을 반영합니다. 하나의 색상만으로 사이트의 어떤 구성요소가 고장났다고 단정하지 않습니다. 실제로 실패한 범주에서 현재 조사할 조건을 선택하는 순서입니다.
DNS 변환은 서버가 호스트 이름을 인식하지 못하거나 크롤링 도중 응답하지 않는 경우를 다룹니다. 오류가 있으면 등록기관의 사이트 설정과 서버의 인터넷 연결을 조사하도록 안내합니다. 서버 연결은 서버가 응답하지 않거나 URL의 전체 응답을 보내지 않은 경우를 다룹니다. 서로 다른 문제를 같은 본문 수정 작업으로 연결하지 않습니다.
robots.txt는 반드시 존재해야 하는 파일은 아니지만 요청했을 때 수용 가능한 응답을 받아야 한다고 도움말은 설명합니다. HTTP 200 응답의 파일은 비어 있거나 구문 오류가 있어도 요청 자체는 성공으로 처리될 수 있습니다. 구문 오류가 있는 규칙은 무시될 수 있으므로 요청의 성공과 규칙 내용의 유효성을 같은 판정으로 합치지 않습니다.
파일 가용성과 수정 이후의 관측
robots.txt에서 HTTP 403·404·410은 파일이 없는 성공적인 응답으로 설명되고, HTTP 429나 5xx는 실패 응답으로 구별됩니다. 본문 페이지의 200 요구사항과 같은 표로 읽지 않아야 하는 차이입니다. robots.txt를 찾을 수 없다는 말과 파일 요청이 실패해 접근 판단을 할 수 없다는 상태를 구분해 조사할 수 있습니다.
도움말은 Google이 최근 24시간 안에 성공한 robots.txt 요청이 있는지 먼저 읽고 그 파일을 사용한다고 설명합니다. 마지막 응답이 실패했거나 24시간이 지났다면 파일을 다시 요청합니다. 현재 서버에 파일을 올렸다는 사실과 Google이 사용하는 최근 응답이 같은 상태인지를 분리할 수 있습니다. 공개 파일의 현재 응답을 조사하는 질문이 필요합니다.
파일 요청이 계속 실패하면 처음 12시간에는 사이트 크롤링을 중단하고 파일을 계속 요청합니다. 이후 30일까지는 마지막으로 성공한 파일을 사용하는 동시에 요청을 이어 간다고 도움말은 설명합니다. 30일 이후에는 홈페이지를 사용할 수 있으면 파일이 없는 것처럼 크롤링하고, 홈페이지도 사용할 수 없으면 사이트 크롤링을 중지합니다. 단계별 가용성 처리를 특정 문서의 색인 완료 일정으로 읽지 않습니다.
실패 조건을 수정한 뒤에는 같은 대상의 접근과 응답을 다시 시험하는 절차를 제안합니다. 크롤링 통계에서는 응답 유형을 열어 날짜별 정보와 예시 주소의 세부 요청을 읽을 수 있습니다. 한 시점의 응답이 좋아졌다는 사실만으로 이전 기간의 실패 기록도 사라져야 한다고 기대하지 않습니다. 수정 후 조사한 조건과 실제 색인 관측을 별도로 표시할 수 있습니다.
평균 응답 시간은 해당 기간에 가져온 리소스의 응답을 기준으로 합니다. 연결된 각 리소스가 별도의 응답으로 계산된다고 도움말은 설명합니다. 느린 응답을 조사할 때 전체 숫자를 특정 진료 문서 하나의 로딩 시간으로 표시하지 않습니다. 파일 형식별 차트의 변화가 전체 가용성 변화와 같은 시기에 나타나는지 읽는 질문으로 활용할 수 있습니다.
다운로드 크기는 해당 기간에 내려받은 바이트 수이며 여러 페이지가 쓰는 리소스를 캐시한 경우 처음 요청할 때만 계산될 수 있습니다. 요청량이 변했다고 사이트의 공개 문서 수가 그대로 변한 것은 아닙니다. 수집 자료에서 콘텐츠 문서와 연결된 리소스의 역할을 나누어 읽으면 실제로 무엇을 가져오지 못한 것인지 조사할 수 있습니다.
Google에 크롤링 속도를 높여 달라고 요청할 수는 없다고 도움말은 설명합니다.
접근 문제 뒤 추가로 구별할 질문
모든 404를 정상 페이지로 변경해야 하나요?
도움말은 대체 페이지 없이 실제로 사라진 문서에는 404가 올바른 응답일 수 있다고 설명합니다. 모든 오류 주소를 고치는 것이 가능하거나 권장되는 것은 아닙니다.
실패 요청이 서버 로그에 없는 이유도 있나요?
페이지에 연결할 수 없음은 요청이 서버에 도달하지 못한 경우이며 로그에 표시되지 않는다고 안내합니다. 로그 부재만으로 크롤링 시도가 없었다고 답하지 않습니다.
통계의 주소는 표준 URL에 합쳐서 표시되나요?
보고서의 주소는 Google이 요청한 실제 URL이며 다른 보고서처럼 표준 주소에 할당되지 않습니다. 서버 측 리디렉션의 각 요청도 따로 계산되며 클라이언트 측 리디렉션은 집계되지 않습니다.
다른 도메인에 있는 이미지 요청도 포함되나요?
보고서의 데이터는 선택한 도메인으로 제한되며 다른 도메인에 호스팅한 리소스 요청은 표시되지 않습니다. 현재 보고서에 안 보이는 파일을 미수집이라고 판정하기 전에 호스트 범위를 읽습니다.
HTTP와 HTTPS 자료가 모두 같은 방식으로 보이나요?
도움말은 크롤링 데이터에 두 프로토콜을 포함하지만 URL 접두어 속성의 예시 주소는 정의된 프로토콜로 제한된다고 구별합니다. 합계의 범위와 예시의 범위가 같은지 읽습니다.