차단 국가와 요청 출발지를 대조
병원 사이트가 특정 국가의 접속을 막으면 Google의 요청도 그 규칙에 포함되는지 조사해야 합니다. Google은 주로 미국 IP 주소에서 요청하고 미국 요청의 차단을 감지하면 다른 국가의 IP에서 크롤링을 시도할 수 있다고 설명합니다. 다른 경로의 시도 가능성을 모든 페이지의 수집 성공으로 읽지 않습니다. 실제 제한 규칙과 요청에 돌아간 응답을 대조할 자료가 필요합니다.
서버의 국가명과 요청의 출발지 국가는 같은 값이 아닙니다. Google의 크롤러와 가져오기 도구는 전 세계 여러 데이터 센터에 분산되어 사이트 근처에 위치하며, 수천 대의 컴퓨터에서 동시에 실행되도록 설계됐다고 개요는 설명합니다. 이 때문에 여러 IP의 방문 내역이 로그에 나타날 수 있습니다. 단일 국가나 하나의 주소만이 검색 로봇의 유일한 출발지라고 가정하지 않습니다.
국가 차단을 검토할 때에는 먼저 현재 규칙이 어느 출발지에 적용되는지를 읽습니다. 국가명만 적힌 정책 설명과 개별 요청이 실제로 제한된 결과는 다른 자료입니다. 해당 국가의 모든 요청을 막는지, 다른 접근 조건도 함께 적용하는지는 사이트에 설정된 내용으로 판단해야 합니다. 실제 병원의 설정을 읽지 않고 미국 차단이나 특정 지역 허용이 이미 적용됐다고 주장하지 않습니다.
| 분리해서 읽을 정보 | 판단할 질문 | 대신할 수 없는 자료 |
|---|---|---|
| 차단 정책의 국가 | 어떤 출발지를 제한하는가 | 호스팅 서버의 위치 |
| 요청의 소스 IP | 이 요청은 어디에서 시작됐는가 | 사용자 에이전트 이름만 |
| 크롤러 식별 정보 | 실제 Google 요청인가 | 국가명만 있는 집계 |
| 응답 결과 | 정상 콘텐츠가 제공됐는가 | 다른 국가의 시도 가능성 |
Google 요청이라는 판별에도 실제 정보가 필요합니다. 공식 개요는 HTTP user-agent 요청 헤더, 요청의 소스 IP 주소, 소스 IP의 역방향 DNS 호스트 이름으로 크롤러가 자신을 식별한다고 설명합니다. 로그의 이름에 Google이 들어 있다는 사실과 이 세부정보로 요청을 검증한 상태를 구분합니다. 국가 규칙을 조정할 대상은 검증되지 않은 이름만으로 정하지 않습니다.
같은 Google 이름 아래의 요청 유형 구별
Google은 크롤러와 가져오기 도구를 자동 실행과 사용자 요청에 의해 동작하는 도구로 설명합니다. 크롤러는 일반적으로 웹사이트를 자동으로 찾아 스캔하는 프로그램이며 가져오기 도구는 사용자를 대신해 단일 요청을 실행하는 역할을 합니다. 국가 차단 기록을 읽을 때 자동 검색 로봇의 접근과 사용자가 시작한 기능의 접근을 구분해야 각각 어떤 서비스가 제한됐는지 판단할 수 있습니다.
일반 크롤러에는 Googlebot 같은 Google 제품용 크롤러가 포함되며 자동 크롤링의 robots.txt 규칙을 항상 준수한다고 개요는 안내합니다. 국가별 접속 제한은 요청 출발지를 다루고 robots.txt는 로봇의 자동 크롤링 규칙을 다룹니다. 한쪽을 허용했다는 사실로 다른 쪽의 제한도 없다고 판단하지 않습니다. Googlebot 요청이 들어온 상태와 해당 콘텐츠를 크롤링하도록 허용한 상태는 구별됩니다.
예외 상황 크롤러는 사이트와 Google 제품 사이에 크롤링 관련 합의가 있는 특정 제품에서 쓰인다고 설명합니다. 공식 문서의 AdsBot 예는 광고 게시자의 권한이 있는 전역 robots.txt 사용자 에이전트 규칙을 무시하는 조건을 다룹니다. 이 설명을 Googlebot도 모든 차단 지시를 무시한다는 일반 규칙으로 확대하지 않습니다. 해당 도구의 종류와 제품 관계를 먼저 구분해야 합니다.
사용자 트리거 가져오기에는 최종 사용자가 시작하는 도구와 제품 기능이 포함됩니다. 공식 개요는 사용자의 요청에 따라 작동하는 Google 사이트 인증 도구를 예로 듭니다. 이런 요청 하나가 성공했다는 관측으로 자동 검색 크롤러도 계속 접근할 수 있다고 확정하지 않습니다. 인증 작업의 응답과 검색용 수집 과정의 응답은 서로 다른 요청에 대한 결과입니다.
Google 크롤러는 사이트에 무리를 주지 않으면서 가능한 한 많은 페이지를 크롤링하는 것을 목표로 한다고 설명합니다. 사이트가 요청 속도를 맞추기 어렵다면 크롤링 속도를 낮출 수 있다는 안내도 있습니다. 이는 호스트 부하를 다루는 조건이며 특정 국가의 요청을 막은 결과가 언제 복구되는지에 대한 일정은 아닙니다. 국가 정책과 처리 용량의 문제를 하나의 이유로 묶지 않습니다.
| 접근 조사에서 구별할 결과 | 다음에 대조할 조건 |
|---|---|
| 인증 요청만 정상 처리 | 자동 검색용 요청도 같은 상태인지 |
| 정상 콘텐츠 대신 부적절한 HTTP 응답 | 응답을 만든 제한과 서버의 동작 |
| 허용된 요청이 과거 자료를 사용 | 캐시 관련 요청·응답 헤더 |
| 전송은 됐지만 큰 파일의 일부만 읽힘 | 도구와 파일 형식별 크기 한도 |
공식 개요는 Google 크롤러에 부적절한 HTTP 응답을 보내면 Google 제품에서 사이트가 표시되는 방식에 영향을 미칠 수 있다고 안내합니다. 국가 제한을 설정했다는 사실뿐 아니라 그 요청에 어떤 응답을 제공했는지가 중요합니다. 실제 응답 코드나 본문을 읽기 전에는 정상 제공, 거부, 오류 중 어느 상태라고 보고하지 않습니다. 또한 이 일반 조건으로 특정 병원의 순위 손실을 계산하지 않습니다.
정책 조정 뒤 읽을 전송과 콘텐츠 상태
검증된 Google 요청이 제한되는 것으로 조사됐다면 해당 요청이 필요한 콘텐츠를 받을 수 있는 범위에서 접근 정책을 검토할 수 있습니다. 이것은 병원의 실제 목적과 설정을 대조하는 운영 판단입니다. Google 문서가 병원의 모든 외국 접속을 허용하라고 요구하는 것은 아닙니다. 보호할 정보와 공개할 진료 문서의 접근 목적을 구분해 제한의 적용 대상을 정합니다.
차단 정책을 바꾼 뒤에는 전송 프로토콜도 결과를 해석할 때 구별할 수 있습니다. Google은 HTTP/1.1과 HTTP/2를 지원하고 가장 우수한 크롤링 성능을 제공하는 버전을 사용하며 이전 통계에 따라 세션 사이에 전환할 수 있다고 설명합니다. 같은 요청 주체가 다른 시점에 다른 프로토콜을 사용했다는 관측만으로 국가 차단 규칙이 다시 적용됐다고 판단하지 않습니다.
지원되는 콘텐츠 압축은 gzip, deflate, Brotli이며 각 사용자 에이전트가 지원하는 인코딩은 요청의 Accept-Encoding 헤더에 나타난다고 안내합니다. 접속이 허용된 요청이라도 실제로 전달한 콘텐츠가 무엇인지 함께 읽어야 합니다. 압축 사용 자체가 해외 요청의 실패를 의미하지 않으며, 헤더와 제공된 자료를 대조하지 않고 인코딩 오류라고 보고할 수 없습니다.
크롤러 개요에는 파일의 기본 크롤링 범위가 처음 15MB라는 설명과 개별 프로젝트·도구·파일 형식에 따라 다른 한도를 적용할 수 있다는 조건이 있습니다. Googlebot의 더 작은 한도와 PDF·HTML의 차이도 소개됩니다. 네트워크에서 요청을 받아들였다는 사실만으로 큰 파일 전체를 읽었다고 판단하지 않습니다. 국가 차단이 풀린 결과와 파일의 읽힌 범위는 각각 다른 질문입니다.
Google의 크롤링 인프라는 ETag와 If-None-Match, Last-Modified와 If-Modified-Since를 통한 HTTP 캐싱을 지원한다고 설명합니다. 정책 조정 뒤 기록에서 새 본문을 매번 보내지 않는 상태를 읽을 때에는 이런 요청·응답 헤더가 쓰였는지 구별할 수 있습니다. 캐시를 이용하는 관측을 국가 차단에 의한 접근 거부라고 단정하지 않습니다. 실제 자료의 버전과 캐시 조건을 함께 대조합니다.
개별 크롤러와 가져오기 도구는 제품 필요에 따라 캐싱을 사용할 수도 있고 사용하지 않을 수도 있다고 문서는 설명합니다. Googlebot은 Google 검색 URL의 재크롤링에서 캐싱을 지원하며 Storebot-Google은 특정 조건에서만 지원한다는 예가 있습니다. 한 Google 도구의 처리 결과를 다른 제품의 요청에도 그대로 적용하지 않습니다. 정책 이후 비교하는 기록의 도구 종류를 맞춰야 합니다.
국가 제한 검토의 추가 질문
HTTP/2를 사용하면 차단 이후 순위 회복을 보장하나요?
Google은 HTTP/2가 CPU·RAM 같은 컴퓨팅 자원을 절약할 수 있으나 검색 순위 상승 같은 제품별 이점은 없다고 명시합니다. 전송 효율의 설명을 국가 제한 이후 순위 회복 조건으로 바꾸지 않습니다. 접근과 검색 성과는 서로 다른 관측입니다.
HTTP/2 요청을 받지 않으려면 국가 차단이 필요한가요?
개요는 HTTP/2 접근을 거부하려면 Google이 그 프로토콜로 접근할 때 421 HTTP 상태 코드로 응답하도록 서버에 지시하는 방법을 설명합니다. 이는 프로토콜 선택을 다루는 조건입니다. 국가별 접속을 차단하는 정책과 같은 기능으로 해석하지 않습니다.
FTP 접근 기록도 HTTP 요청과 같은가요?
Google 크롤러 인프라는 FTP와 FTPS를 통한 크롤링도 지원하지만 드물다고 안내합니다. 전송 종류가 다른 기록을 HTTP 응답과 같은 값으로 비교하지 않습니다. 병원에 해당 기능이 있는지는 실제 서버 구성과 요청으로 판단해야 합니다.
ETag와 Last-Modified가 함께 있으면 어느 값을 사용하나요?
두 응답 헤더가 모두 있으면 Google 크롤러는 HTTP 표준에 따라 필요한 값으로 ETag를 사용한다고 개요는 설명합니다. ETag는 날짜 형식 문제가 없다는 이유도 안내합니다. 본문의 변경 여부를 조사할 때 헤더가 모두 있다는 사실만으로 두 값을 같은 방식으로 처리한다고 가정하지 않습니다.
이 Google 설명으로 네이버의 국가별 수집도 판단하나요?
이 문서의 요청 출발지와 도구 유형은 Google 크롤링 인프라를 설명합니다. 이를 네이버의 출발지 국가나 차단 대응 방식으로 그대로 사용하지 않습니다. 병원이 어느 검색 서비스의 요청을 제한했는지 구분하고 그 서비스의 실제 접근 자료를 별도로 대조해야 합니다.