구글 서치콘솔 - 색인 생성되지 않음에 대한 근본적인 해결방법

티스토리를 시작하다 보면 구글 로봇(크롤러)이 내가 포스팅한 페이지의 정보를 수집하고 구글 포털사이트에 색인 발행(크롤링)을 잘하고 있는지 지속적으로 관찰한다. 그리고 문제가 발생하면 조치를 취하는데 시간을 들인다.

 

하지만 컴퓨터 언어나 프로그래밍과 관련된 단어들이 자주 나와 보통의 일반인들은 무슨 이야기를 하는지 난감하고 답답할 때가 있다. 오류들이 어떤 의미인지 제대로 알지 못하니 어떻게 해결해야 할지도 난감하다.

 

 

 

 

'페이지 색인 생성되지 않는 이유'에 불안해하지 않아도 되는 이유

 

서치 콘솔에 들어가서 페이지 탭에 보면 해당 사이들에서 크게 색인된 페이지와 색인이 제외된 페이지를 확인할 수 있다. 다시 색인 생성되지 않음을 구체적으로 보면 9가지 정도로 추려볼 수 있다.

 

구글서치콘솔-페이지색인-제외-이유들

 

-robots.txt에 의해 차단됨

-크롤링됨 - 현재 색인이 생성되지 않음

-발견됨 - 현재 색인이 생성되지 않음

-찾을 수 없음(404)

-리디렉션이 포함된 페이지

-적절한 표준 태그가 포함된 대체된 페이지

-사용자가 선택한 표준이 없는 중복 페이지

-제출된 페이지, 제출된 URL이 표준으로 선택되지 않음

-다른 4xx 오류로 인해 차단됨

 

 

 

 

1. 오류가 무엇이든 할 수는 조치는 제한적이다

 

다음 최적화만을 주로 하시는 이슈 블로거들에게는 큰 상관은 없지만, 장기적으로 구글에 상위 노출이 목적인 분들은 여간 스트레스가 아니다. 구글 로봇이 크롤링(내가 포스팅한 페이지 정보를 긁어와 구글 포털에 색인을 발행하는 작업)을 잘해줘야 노력 들여 발행한 내 글들이 검색자에게 잘 노출되는 것은 당연하다.

 

이는 실제로 구글 애드센스 수익에도 영향을 주기 때문에 각종 오류들로 색인이나 크롤링 제외 페이지 수가 늘어나면 찝찝할 수밖에 없다. 결론을 얘기하면 90% 이상은 각종 오류들에 대해 블로그 관리자인 우리가 별다르게 취할 수 있는 조치는 없다.

 

기껏해야 다시 url 테스트를 진행하고 색인 재요청을 하는 정도다. 페이지가 발견되었으나 구글 봇이 크롤링하지 않는 경우, 혹은 크롤링했으나 아직 색인 발행을 하고 있지 않는 경우에 주로 이 방법을 이용한다. 구글 로봇은 우리의 마음처럼 빨리 움직여주지 않는다. 정보에 액세스하고 검토하고 색인해도 괜찮은 페이지인지 파악하고, 다시 요청하는 일련의 과정들이 이뤄질 때까지 인내심이 필요하다. 구글 봇에게 색인 재요청하는 우리의 조치적 행동은 이 시간을 좀 더 단축시키려는 마음 때문이다.

 

크롤링할 때까지 내버려 두거나, 수동 색인 요청하거나

그러니 우리가 할 수 있는 일은 구글 로봇의 입장(?)을 이해하고 배려하는 일이다. 꾸준히 다른 글들을 쓰다 보면 알아서 색인이 제외된 페이지 수가 줄어들어 든다. 물론 급하거나 중요한 정보글이라면 위와 같이 특별하게 수동으로 색인 요청을 해서, 구글 봇에게 인지시켜줄 수는 있다. 또한 로봇도 실수를 하기 때문에, 놓친 페이지에 대해서도 마찬가지로 너그럽게 받아들이고 재색인 요청 해주자.

 

 

 

 

 

2. 오류 의미를 이해하면, 조치할 필요가 없다는 게 납득된다

 

위 오류들이 무슨 말인지 의미를 이해하면 조치할 필요가 없다고 느낄 것이다. 각종 제외된 오류들에 대해 하나하나 지나치게 반응하지 않아도 괜찮다는 말이다. 아래에서 살펴보겠지만 각 오류들에 대한 해결방법은 대부분 '조치를 취하지 않아도 된다'이다. 대부분 해당 오류들이 뜨는 것은 어떤 부분은 당연한 것이고, 내버려 두면 자연스럽게 해결되는 게 많다.

 

그러니 큰 걱정은 하지 말고, 꾸준히 글을 쓰시셔도 괜찮다.

 

다양한 서치 콘솔 오류 해석

그럼에도 불구하고 불안하거나 찝찝하다면 큰 일이다. 포스팅 발행에 집중할 수 없기 때문이다. 그런 분들을 위해 구글 서치 콘솔 오류들을 하나하나 살펴보고 안심해도 된다는 취지에서 말씀드리겠다.

 

양이 길어질 수 있어 아래를 클릭하시길 바란다.

 

 

 

robots.txt에 의해 차단됨 오류와 해결방법