호스팅사에서 제공하는 네임서버를 이용하고 있었는데
5월 28일부터 구글 크롤링이 안되더군요 (5xx 서버오류)
일시적인 오류겠거니 놔뒀는데, 시간이 지나도 그대로고
새글 색인 및 기존 콘텐츠 액세스가 안되어 사이트 검색순위에 부정적 영향을 주는 상황까지 이르게되었습니다
3일동안 업데이트한거 롤백하고 별짓을 다했는데
아무리 확인해도 페이지는 http 200 으로 정상 작동하고
나머지 검색엔진은 그대로 긁어가는 것을 보아
혹시..? 네임서버에서 구글 검색로봇을 차단한 것아닌가 하는 생각이 들었습니다
구글에서 제공하는 가이드라인을 검토하였는데
호스팅 제공업체에서 실수로(혹은 고의로) 검색로봇을 차단하는 경우가 있다고 합니다
아차 싶더군요,
특정 회사에서 검색엔진을 차단한다는 것은 들어보았어도
어떤 방식인지몰랐는데 DNS 에서 차단하는 방식이였나봅니다
일단 문의를 넣었으나, 다시 차단당하지 않으리란 보장이 없어서 클라우드플레어로 네임서버를 변경한 상태입니다
네임서버를 변경하자마자 구글에서 사이트를 인식하기 시작했습니다
왜? 네임서버에서 구글 봇을 차단했던건지...
모르겠네요
