앞으로 서치 콘솔 크롤링 속도 제한 도구(Googlebot crawl rate tool)가 제거 된 것이라고 구글은 이야기를 하고 있습니다. 이 크롤링 속도 제한 도구는 Bot이 크롤링을 개선시키기 위해 만든 기능입니다. 하지만 2024년 1월 8일에 제거를 할 것이라고 발표 하였습니다.
서치 콘솔 크롤링 속도 제한 도구
2008년에 검색 콘솔에 도입이 된 도구입니다. 이 도구의 목적은 Googlebot이 크롤링하는데 있어 서버에 부담을 주지 않게 제어하도록 만든 것입니다.
초기에는 Bot이 특정 사이트 서버에 많은 방문과 크롤링을 하게되면서 노출 및 Index가 안되는 경험을 겪기도 했다고 합니다.
하지만 반대로 Bot이 잘 들어오지 못하는 사이트는 이 Bot을 강제적으로 크롤링을 시켜 index에 도움이 되게끔 하기도 하였습니다.
이 도구를 제거하는 이유는?
구글에 따르면 크롤링 알고리즘이 서버 용량에 도달하면 Bot이 자동으로 감지하고 크롤링 속도를 늦추기 위한 즉각적인 조치를 취할 수 있다고 합니다.
또한 에너지 낭비를 줄이기 위해 크롤링 빈도를 줄였기때문에 사용자들에게 이러한 도구 사용권한을 더 주는 것은 낭비로 생각하는 듯 합니다.
크롤링 제한 도구의 지원이 중단됨에 따라 최소 크롤링 속도도 이전 크롤링 속도 제한과 비슷한 수준으로 낮은 속도로 설정되었습니다.
즉, 검색 관심도가 낮을 경우 일부 사이트 소유자가 과거에 설정한 설정을 효과적으로 계속 유지하고 크롤러가 사이트의 대역폭을 낭비하지 않는다는 의미입니다.
Googlebot은 사이트, 더 구체적으로는 사이트를 처리하는 서버가 Googlebot의 HTTP 요청에 응답하는 방식에 반응합니다.
예를 들어 서버가 다양한 URL에 대해 HTTP 500 상태 코드를 지속적으로 반환하는 경우 Googlebot은 자동으로 거의 즉시 크롤링 속도를 늦춥니다.
마찬가지로 요청에 대한 응답 시간이 상당히 길어지면 Googlebot의 속도가 자동으로 느려집니다.
즉, 검색 관심도가 낮을 경우 일부 사이트 소유자가 과거에 설정한 설정을 효과적으로 계속 유지하고 크롤러가 사이트의 대역폭을 낭비하지 않는다는 의미입니다.
출처 : 구글 서치 센터
이 소식에 관심을 가지는 이유
서치 콘솔에서 크롤링 속도 관련하여 관심을 가지는 이유는 색인과 연관이 있고, 무어보다 사이트의 대역폭 낭비를 하지 않게끔 하겠다라는 구글의 의지입니다.
또한 이 도구를 사용하셨던 분들은 2024년 1월부터 사용이 불가하니 이 점을 유의하고 다른 방법을 찾아야 한다는 것입니다.
또한 색인 속도가 느려진 만큼 노출 관련해서 많은 부분이 변화가 있지 않을까 합니다. 이럴 경우에는 과거의 방식으로 색인을 유도해야하는데 이 부분도 준비가 되어있지 않으면 어려울 듯 합니다.
- SEO 요소가 더 중요해질 듯 합니다. (가벼운 사이트 필수!)
- 궁금한 부분은 프리미엄페이지 댓글에 남겨주시면 됩니다.^^
