구글 서치콘솔 사이트맵을 읽을 수 없음 해결방법

구글 서치콘솔 사이트맵을 읽을 수 없음 해결방법

아래에 설명한 방법은 일반적으로 워드프레스로 작성된 블로그의 경우에 해당하는 내용입니다. 이 글을 검색해서 들어온 한국인 여러분들은 대부분 티스토리 블로그를 구글 서치콘솔에 등록했을 때 "사이트맵을 읽을 수 없음"에 당황하셨을 텐데요.

일단 정상적인 티스토리 주소라면 문제없이 해결됩니다. 시간이 필요할 뿐!

하지만 개인도메인을 사용하고 있는데, 개인도메인 주소로는 RSS나 Sitemap.xml을 읽을 수 없음이라고 뜬다면 십중팔구 문제는 DNS세팅 문제입니다. 루트도메인을 곧바로 티스토리로 연결을 설정하셨다면 대부분의 경우 별 문제가 없습니다.

하지만, 호스팅에 워드프레스를 설치하고 루트도메인을 부여해서 애드센스를 승인받은 분이, 2차 도메인을 연결한 경우, 보통 루트 도메인에 SSL설정이 안 되어 있다면, 문제가 발생하고 있습니다.

해결방법은 카페24의 매니지드 워드프레스 호스팅 같은데로 옮겨서 SSL을 부여하는 수밖에 없습니다.

아래의 내용은 별로 중요하지 않습니다. 이 글을 검색해서 들어오신 분이 필요한 정보는 윗 문장 단 한 줄일 것이라고 생각합니다.^^;

구글 서치콘솔을 활용하여 웹사이트를 관리할 때, 사이트맵 제출 후 “사이트맵을 읽을 수 없음”이라는 오류 메시지가 나타난다면 많은 분들이 당황하시기 쉽습니다. 이 글에서는 구글 서치콘솔에서 사이트맵이 제대로 읽히지 않는 원인과 함께, 이를 해결하기 위한 구체적인 방법들을 상세히 안내해 드리겠습니다. 구글 서치콘솔은 사이트맵을 통해 웹페이지들을 크롤링하고 인덱싱할 수 있도록 돕는 중요한 도구입니다. 하지만 사이트맵 제출 후 바로 결과를 확인하기는 어려워, 다양한 테스트 도구와 점검 방법을 활용하는 것이 필요합니다.

구글 서치콘솔과 사이트맵의 역할

구글 서치콘솔에 사이트맵을 제출하는 것은 구글에게 “이 URL들에 대해 크롤링 및 인덱싱을 진행해 주세요”라는 요청을 보내는 것입니다. 구글은 사이트맵을 통해 웹사이트 구조와 페이지 목록을 파악하지만, 제출 직후에 사이트맵의 내용이 즉시 반영되거나 실시간으로 테스트되는 것은 아닙니다. 기본적으로 사이트맵 제출은 크롤링 요청일 뿐이며, 구글이 실제로 사이트맵 파일을 읽고 처리하는 과정은 일정 시간이 소요될 수 있습니다.

특히, 구글 서치콘솔은 사이트맵이 정상적으로 불러와졌는지를 확인할 때, XML 형식의 파일을 기준으로 크롤링 상태를 점검합니다. 이 과정에서 파일의 크기, 압축 여부, HTTP 응답 헤더 등의 여러 요소가 영향을 미치게 됩니다. 따라서 사이트맵이 “읽을 수 없음”이라는 메시지가 출력될 경우, 우선적으로 사이트맵 파일 자체에 문제가 있는지, 혹은 구글이 사이트맵 파일을 정상적으로 접근하고 있는지를 확인하는 것이 필요합니다.

사이트맵 읽기 문제의 주요 원인

사이트맵이 구글 서치콘솔에서 읽히지 않는 데에는 여러 가지 원인이 있을 수 있습니다. 가장 대표적인 원인들은 다음과 같습니다.

1. 사이트맵 파일의 크기
   사이트맵 파일의 용량이 너무 큰 경우, 구글의 테스트 도구나 크롤러가 파일을 정상적으로 처리하지 못할 수 있습니다. 특히 수 MB 이상의 대용량 사이트맵은 테스트 도구에서 “Something went wrong”이라는 오류 메시지를 발생시킬 수 있습니다.
2. 압축 파일 사용 (.gz 파일)
   사이트맵 파일이 inline deflate/gzip 압축이 아닌 실제 .gz 파일로 저장되어 있는 경우, 일부 테스트 도구에서는 압축된 상태의 파일을 제대로 해석하지 못할 수 있습니다. 이 경우, 구글 서치콘솔에서 사이트맵을 제출할 때 문제 발생 가능성이 있으므로 압축 방식도 점검해야 합니다.
3. HTTP 응답 헤더 및 콘텐츠 타입
   사이트맵 파일이 HTTP 응답을 통해 전달될 때, 올바른 XML 콘텐츠 타입이 지정되어 있어야 합니다. 만약 XML이 아닌 다른 콘텐츠 타입으로 응답된다면, 구글은 이를 제대로 처리하지 못할 수 있습니다. 이 때는 서버 설정이나 헤더 구성이 올바른지 확인해야 합니다.
4. noindex 및 X-Robots-Tag 설정
   사이트맵 파일 자체에 noindex 태그나 X-Robots-Tag 헤더가 포함되어 있더라도, 이는 사이트맵의 크롤링 및 인덱싱 처리에 영향을 주지 않습니다. 다만, 이러한 설정이 페이지에는 적용되어 있을 경우, 혼동을 일으킬 수 있으므로 사이트맵 파일과 실제 웹페이지의 구분을 명확히 해야 합니다.
5. 방화벽 및 접근 제어
   웹서버의 방화벽이나 보안 설정에 의해 구글봇(Googlebot)이 차단되고 있을 경우, 사이트맵 파일에 대한 접근이 제한될 수 있습니다. 특히, 구글 서치콘솔에서 사용하는 InspectionTool이나 다른 테스트 도구와 실제 Googlebot 간에 접근 권한이 다를 수 있으므로, 서버의 보안 정책도 점검할 필요가 있습니다.

Rich Results Tester를 활용한 사이트맵 테스트 방법

사이트맵 파일이 정상적으로 구글에 의해 크롤링되고 있는지를 확인하기 위해, 구글의 Rich Results Tester를 활용하는 방법이 있습니다. Rich Results Tester는 원래 구조화된 데이터의 테스트 도구로 알려져 있으나, 사이트맵의 “fetchability(가져오기 가능 여부)”를 확인하는 용도로도 활용할 수 있습니다. 아래의 절차를 따라 테스트를 진행해 보시기 바랍니다.

1. Rich Results Tester 접속
   먼저, 구글의 Rich Results Tester 페이지에 접속합니다. 이 도구는 일반 웹페이지뿐만 아니라 사이트맵 파일의 URL을 입력하여 테스트할 수 있습니다.
2. Desktop Bot 선택
   테스트 도구 내에서 Desktop Bot(데스크탑 봇)을 선택합니다. 이는 구글 서치콘솔이 실제로 사용하는 Googlebot Desktop User-Agent와 유사한 환경에서 사이트맵 파일을 가져올 수 있도록 도와줍니다.
3. 사이트맵 URL 입력
   사이트맵 파일의 전체 URL(예: https://example.com/sitemap.xml 또는 https://example.com/sitemap.xml.gz)을 입력한 후, 테스트를 진행합니다.
4. XML 소스 확인
   테스트 결과 화면에서 ‘View Tested Page’ 버튼을 클릭하여, XML 소스가 제대로 출력되는지 확인합니다. XML 소스가 정상적으로 보인다면, 구글이 사이트맵 파일을 성공적으로 불러왔다는 의미입니다.
5. HTTP 응답 확인
   테스트 도구 내의 ‘HTTP Response’ 정보를 확인하여, XML 콘텐츠 타입이 제대로 설정되어 있는지 점검합니다. 만약 XML 대신 다른 형식의 응답이 나온다면, 서버 설정 문제일 가능성이 큽니다.
6. 오류 메시지와 주의사항 파악
   테스트 도중 “Something went wrong” 또는 “crawl failed”와 같은 메시지가 나타난다면, 이는 반드시 사이트맵 파일 자체의 문제를 의미하지 않을 수 있습니다. 단순히 테스트 도구의 한계나 파일 크기, 압축 방식 등의 문제로 인해 발생할 수 있으므로, 결과를 종합적으로 판단해야 합니다.

이와 같이 Rich Results Tester를 활용하면, 사이트맵 파일이 구글의 크롤러에 의해 접근이 가능한지를 간접적으로 확인할 수 있습니다. 다만, 이 도구는 전용 InspectionTool User-Agent를 사용하기 때문에 실제 Googlebot과 100% 동일한 환경을 제공하지 않을 수 있음을 인지해야 합니다.

기타 테스트 도구와 확인 사항

Rich Results Tester 외에도 구글 서치콘솔 내의 URL 검사 도구(URL Inspection Tool)를 활용하여 사이트맵에 포함된 개별 페이지들이 정상적으로 크롤링되고 있는지 확인할 수 있습니다. 이때 몇 가지 주의해야 할 점은 다음과 같습니다.

• URL Inspection Tool 활용
  URL Inspection Tool은 특정 웹페이지의 크롤링 상태, 캐시 된 버전, 구조화 데이터 등을 확인할 수 있습니다. 사이트맵에 포함된 페이지들을 하나씩 검사함으로써, 크롤링에 장애가 있는 페이지가 있는지 점검할 수 있습니다.
• 서버 로그 및 접근 기록 확인
  서버 로그를 통해 구글봇의 접근 기록을 확인하면, 실제로 사이트맵 파일에 대한 요청이 들어왔는지 여부를 알 수 있습니다. 만약 특정 시간대에 구글봇의 접근 기록이 누락되었다면, 방화벽이나 서버 설정에서 구글봇을 차단하고 있을 가능성이 있습니다.
• 페이지 렌더링과 크롤링 차이
  사이트맵은 웹페이지와 달리 Rich Results나 구조화 데이터가 포함되어 있지 않으므로, URL 검사 도구에서 “크롤 실패” 메시지가 나온다고 하더라도 반드시 문제가 있는 것은 아닙니다. 중요한 것은 “Page fetch: Successful”이라는 문구가 보이는지 여부입니다.
• 파일 압축 및 크기 제한 고려
  앞서 언급한 바와 같이, 파일 크기가 매우 크거나 압축 방식이 표준과 다를 경우, 구글이 사이트맵 파일을 정상적으로 처리하지 못할 수 있습니다. 이 경우, 파일을 분할하거나 압축 방식(예: inline gzip) 등을 재검토하는 것이 좋습니다.

문제 해결을 위한 실질적인 팁

사이트맵을 읽지 못하는 문제를 해결하기 위해서는 위에서 언급한 요소들을 하나씩 점검하는 것이 중요합니다. 아래는 실질적인 문제 해결 팁을 정리한 내용입니다.

• 사이트맵 파일 크기 조정
  파일 크기가 큰 경우, 사이트맵 파일을 여러 개의 파일로 분할하거나 불필요한 페이지 URL을 제거하여 파일 용량을 줄이는 것이 좋습니다. 구글은 일반적으로 50,000 URL 또는 50MB(압축 전) 이하의 사이트맵 파일을 권장합니다.
• 압축 방식 확인 및 조정
  사이트맵 파일이 .gz 파일로 저장되어 있다면, inline gzip 압축을 적용해 보시기 바랍니다. 이를 통해 테스트 도구와 구글 서치콘솔 모두에서 올바르게 처리될 가능성이 높아집니다.
• 서버 설정 및 HTTP 헤더 점검
  웹서버 설정에서 XML 콘텐츠 타입이 올바르게 지정되어 있는지, HTTP 응답 헤더에 문제가 없는지 꼼꼼히 확인해 보세요. 특히, XML 파일이 text/xml 또는 application/xml 등으로 응답되고 있는지 확인하는 것이 중요합니다.
• 방화벽 및 보안 설정 검토
  구글봇의 접근을 방해하는 보안 설정이나 방화벽 규칙이 없는지 확인합니다. 만약 서버 보안 설정에서 특정 User-Agent를 차단하고 있다면, 이를 수정하여 구글봇이 정상적으로 접근할 수 있도록 해야 합니다.
• 테스트 도구 결과 종합 검토
  Rich Results Tester나 URL Inspection Tool 등 다양한 도구의 결과를 종합하여 판단하는 것이 필요합니다. 단일 도구의 결과만으로 문제를 단정 짓지 말고, 실제 서버 로그와 HTTP 응답을 함께 분석해야 합니다.

결론

구글 서치콘솔에서 사이트맵이 읽히지 않는 문제는 단순히 사이트맵 파일 자체의 오류뿐만 아니라, 파일 크기, 압축 방식, HTTP 헤더, 서버 보안 설정 등 여러 요소가 복합적으로 작용할 수 있습니다. 따라서 문제 해결을 위해서는 Rich Results Tester와 URL Inspection Tool 등 다양한 도구를 활용하여 구글봇의 접근 상태와 서버의 응답을 꼼꼼히 확인하는 것이 필요합니다. 파일 크기나 압축 문제, HTTP 응답 헤더, 보안 설정 등 세부 사항을 하나씩 점검하여 문제의 원인을 파악하고, 이를 수정하면 사이트맵의 정상적인 크롤링과 인덱싱이 가능해질 것입니다. 이번 포스팅에서 제시한 점검 방법과 해결 팁을 참고하셔서, 구글 서치콘솔에서 발생하는 사이트맵 문제를 효과적으로 해결하시길 바랍니다.