본문 바로가기
컴퓨터 인터넷 모바일 it/블로그 애드센스 등

티스토리 블로그 스킨에서 네이버 크롤링 봇 차단하는 메타태그

by 하누혀누IT 2025. 5. 30.
반응형

티스토리 블로그 스킨에서 네이버 크롤링 봇 차단하는 메타태그

티스토리 블로그를 저품질 당하면, 왠지 억울해집니다. 다음 검색 유입이 있을 때라면, 티스토리 자체 광고가 떠 있어도 상관없지만, 네이버에서 유입이 들어오면 티스토리 블로그에 굳이 글을 남겨두고 싶지 않을 때가 생깁니다.

그러면 워드프레스를 만들어서 블로그를 워드프레스로 옮기면 됩니다. 물론 이때 개인도메인을 사용하고 있어야 합니다. 티스토리 주소는 당연히 옮길 수 없으니 이전작업이 아니죠.

그런데 티스토리가 데이터 백업을 안해주죠.

그런데 또 워드프레스를 이용하면, 다음 검색 유입이 전혀 없습니다. 단 한 명의 유입이라도 소중하다면, 티스토리 블로그는 그대로 두고, 개인도메인 주소만 새로 워드프레스로 옮기고, 글도 모두 옮기세요.

티스토리 블로그 워드프레스 이전 파이썬 스크립트

메타 robots 태그로 네이버 크롤러 차단하기

기존에 운영하던 티스토리 블로그를 개인 도메인 워드프레스로 이전한 뒤, 이전된 글과 원본 티스토리 글이 동시에 검색에 노출되면 중복 콘텐츠로 판단되어 검색 순위에 부정적 영향을 미칠 수 있습니다. 특히 네이버 검색은 ‘유사 문서’ 판정을 엄격하게 적용하는 경향이 있어, 워드프레스 쪽 글이 제대로 색인되더라도 티스토리에 남아 있는 글이 크롤링되면 오히려 워드프레스 글이 뒤로 밀릴 위험이 있습니다.

하지만 티스토리 플랫폼은 루트 디렉터리의 robots.txt 파일을 수정할 수 없기 때문에, 외부에서 일반적으로 사용하는 ‘User-agent: NaverBot’ 차단 설정을 적용할 수 없습니다. 이에 대안으로 스킨 HTML 내부에 메타 태그를 삽입해 네이버 검색 봇의 크롤링을 막는 방법을 소개합니다.

메타 robots 태그의 기본 개념

메타 robots 태그는 HTML 문서의 <head> 영역에 위치시키며, 검색 엔진 크롤러에게 해당 페이지의 색인(index) 또는 링크 추적(follow) 여부를 지시하는 표준 방식입니다. 주요 속성은 다음과 같습니다.

  • noindex: 페이지를 검색 결과에 포함시키지 않음
  • nofollow: 페이지 내 링크를 따라가지 않음
  • noarchive 또는 nocache: 검색 결과에서 캐시 된 페이지를 제공하지 않음
<meta name="robots" content="noindex, nofollow, noarchive">

위 예제는 모든 봇(구글, 빙, 네이버 등)을 대상으로 색인 및 링크 추적을 차단합니다. 티스토리 스킨 편집에서 이 태그를 추가하면, 로봇이 페이지 소스를 분석할 때 해당 지시를 우선수위로 해석합니다.

티스토리 스킨에서 메타태그 삽입하는 방법

  1. 스킨 편집 모드 진입
    • 티스토리 관리자 페이지 접속 → ‘스킨’ 메뉴 선택 → 사용 중인 스킨 ‘HTML/CSS 편집’ 버튼 클릭
  2. <head> 태그 위치 찾기
    • 편집 화면에서 <head> 태그가 시작되는 부분을 검색합니다.
    • 일반적으로 <meta charset="utf-8"> 또는 <title> 태그 바로 위쪽에 위치합니다.
  3. 메타 robots 태그 추가
    • <head> 태그 내부, 닫는 </head> 태그 직전 위치에 아래 코드를 삽입합니다.
    <!-- 네이버 및 기타 검색봇 색인 차단 설정 -->
    <meta name="robots" content="noindex, nofollow">
    • 네이버만 차단하고 싶더라도, 메타 태그는 모든 봇에 적용됩니다. 따라서 모든 검색엔진의 색인이 일괄 차단되니 주의해야 합니다.
  4. 저장 및 적용 확인
    • 스킨 편집 화면에서 ‘저장’ 후 내 블로그에 접속하여 페이지 소스 보기(Ctrl+U)로 추가된 태그가 정상 반영됐는지 확인합니다.
    • 브라우저에서 검색엔진 시뮬레이터(예: Google Search Console의 URL 검사 도구)로 noindex 지시가 수용되는지 확인할 수 있습니다.

주의사항 및 한계점

  • 전체 블로그 색인 차단
    메타 robots 태그는 페이지 단위 지시이므로, 삽입된 모든 글이 네이버·구글 색인에서 제외됩니다. 워드프레스로 이전한 뒤에도 검색 유입을 전혀 원치 않는 특정 카테고리나 개별 포스트에만 적용해야 의도한 효과를 얻을 수 있습니다.
  • 네이버 전용 태그 부재
    HTML 메타 태그 표준에는 특정 검색엔진만 타겟팅하는 속성이 없습니다. 네이버만 차단하고 구글은 허용하려면 별도의 서버 수준 설정이나 스크립트 기반 제어가 필요하지만, 티스토리 스킨 구조상 스크립트 차단 지시는 크롤러에게 인식되지 않습니다.
  • 자바스크립트 삽입 방식
    일부 블로거는 <script>로 동적으로 메타 태그를 생성해 네이버에만 적용되도록 시도하나, 네이버 봇은 자바스크립트를 실행하지 않으므로 소스 최상단에 고정된 메타 태그 방식이 가장 확실합니다.
  • SEO 영향
    메타 robots 태그를 잘못 설정하면 의도치 않게 검색 유입 전체가 사라질 수 있으니, 반드시 대상 포스트를 선별하여 적용하고 주요 콘텐츠는 별도 관리해야 합니다.

결론

티스토리 블로그처럼 서버 접근 권한이 제한된 환경에서는 루트 디렉터리의 robots.txt 수정이 불가능하므로, HTML 메타 robots 태그를 활용해 네이버를 포함한 모든 검색 봇의 색인을 차단하는 방법이 가장 현실적입니다. 다만 모든 봇에 일괄 적용되며, 개별 페이지별 설정이 필요하다는 점과 네이버 전용 차단이 기술적으로 불가능하다는 한계를 인지해야 합니다. 워드프레스 이전 후 원본 티스토리 글이 중복 콘텐츠로 인식되지 않도록, 이전 완료된 글에 메타 태그를 삽입해 네이버가 더 이상 크롤링하지 않도록 관리하시기 바랍니다.

반응형

댓글