CDN 활용을 통한 SEO 최적화 전략 이해하기

Photo of author

By Choi

CDN이 SEO에 미치는 영향

Google은 최근 콘텐츠 전송 네트워크(CDN)가 검색 크롤링에 어떻게 영향을 미치는지와 SEO를 어떻게 개선할 수 있는지를 설명하는 문서를 발표했습니다. 이 문서에서는 SEO 전문가들이 CDN을 활용할 때 고려해야 할 사항들을 자세히 다루고 있습니다.

CDN이란 무엇인가?

콘텐츠 전송 네트워크(CDN)는 웹 페이지를 캐시해서 요청된 브라우저에 가장 가까운 데이터 센터에서 페이지를 보여주는 서비스입니다. 이는 웹 페이지의 사본을 저장하여 전송 시간을 단축시킵니다. 사용자에게 더 가까운 서버에서 페이지가 제공되므로 인터넷을 통한 전송 경로가 줄어들게 됩니다.

CDN이 더 많은 크롤링을 가능하게 하는 이유

CDN을 사용할 때의 주요 장점 중 하나는 구글이 CDN에서 제공되는 웹 페이지를 감지하면 크롤 속도를 자동으로 증가시킨다는 것입니다. 이는 구글봇이 페이지를 크롤링할 때 서버에서 감지되는 부하가 줄어들기 때문입니다. 일반적으로 서버가 느려지면 구글봇은 크롤링 횟수를 제한하지만, CDN이 있으면 이 제한이 완화됩니다.

다만, 초기에는 CDN의 캐시가 '콜드' 상태일 수 있기 때문에 모든 URL은 서버에서 직접 제공되어야 합니다. 따라서 CDN을 사용하더라도 초기에는 높은 '크롤 예산' 소모를 예상해야 합니다.

CDN 사용 시 발생할 수 있는 문제점

CDN을 사용하는 도중, 구글봇이 블랙리스트에 올라 크롤링이 차단될 수 있습니다. 이는 다음과 같은 두 가지 유형의 블록이 있을 때 발생할 수 있습니다.

  1. 하드 블록: 서버 오류가 발생할 경우 구글봇은 크롤링 속도를 늦추며 결국 인덱스에서 URL을 제거할 수 있습니다.

  2. 소프트 블록: '사람인지 확인' 등의 인터스티셜이 구글봇에 표시되면, 이는 내부적으로 503 상태 코드를 전송하여 요청을 일시적으로 차단한 것을 명확히 해야 합니다.

CDN 문제 해결을 위한 도구

구글은 CDN이 웹 페이지를 어떻게 제공하는지 확인하기 위해 Search Console의 URL 검사 도구를 사용할 것을 권장합니다. 또한, 웹 애플리케이션 방화벽(WAF)이 구글봇의 IP 주소를 차단하고 있는지도 확인해야 합니다. 이는 구글의 공식 IP 목록을 참고하여 차단된 IP를 비교함으로써 확인할 수 있습니다.

보다 자세한 내용은 구글의 공식 문서를 참조하세요: Crawling December: CDNs and crawling

Leave a Comment