질문/공유질답게시판

검색로봇 접근이 안되고있습니다

blue

며칠전부터 구글 검색엔진이 사이트에 접근을 못해서 네임서버 문제인가하고 DNS도 변경해보았는데

잠깐 색인이 정상적으로 돌아오더니, 다시 접근이 안되고 있습니다

 

66.249.82.199 - - [02/Jun/2018:09:22:23 +0900] "GET / HTTP/1.1" 403 209
66.249.82.199 - - [02/Jun/2018:09:22:25 +0900] "GET /index.php?mid=free HTTP/1.1" 403 218

66.249.82.199 - - [02/Jun/2018:09:22:58 +0900] "GET /index.php?document_srl=20382897 HTTP/1.1" 403 218

66.249.82.203 - - [02/Jun/2018:09:26:35 +0900] "GET /modules/page/tpl/css/mpage.css?20180520193405 HTTP/1.1" 403 239
 

아파치 로그를 확인했을 때 이런식으로 66.249 (구글 로봇 ip) 에서 접근되는 접속이 모두 403 오류로 반환되고 있습니다

방화벽 문제인가 싶어, ssh 상에서 systemctl stop firewalld 명령어로 방화벽을 중지해봐도 안되는거같고

서버에서 구글 로봇을 차단한 IP를 차단한거같지는 않은데 해볼만한 조치가 있을까요?

위로 아래로
댓글 5
  • profile
    해당 ip 대역이 차단되었으니 그렇지 않그렇다면 해당 대역만 403 반환이 될 이유가 있을까요?
    호스팅사에서 차단한건지 확인해보셔야 할 것 같네요.

    저는 가비아 쓰는데 가비아에서 가끔 무식하게 대역 전체를 막아서 구글로부터 경고메일이 오고 확인하는 경우가 종종 있습니다. 제가 운영하는 쇼핑몰이 가비아 호스팅 입니다.
  • profile ?
    • blue
    • 질문기여자
    역시 호스팅에서 차단된걸까요?
    괜히 오해하는 것일까봐 여러가지 확인해보고 있는데
    업무시간 중으로 문의를 한번 넣어봐야겠군요
  • ? profile
    일정한 대역을 차단하는 경우는 호스팅 차원에서 하는게 일반적인 것 이구요. 트래픽이 비정상적으로 급증한다고 판단할때 대역 전체를 차단해 버리는 경우가 많습니다. 거기에 구글과 같은 곳이 포함되는 경우가 있는 것이구요. 해외의 아이피를 임의로 차단하는 경우가 많아요.
  • profile

    XE를 실행하지도 않는 css 파일마저 403이 나온다면 호스팅 업체에서 차단했거나 .htaccess가 잘못되었거나 둘 중 하나입니다. 그런데 .htaccess에서 특정 아이피를 차단한 적이 없다면 호스팅 업체에서 차단한 거겠죠.

  • ?
    • blue
    • 질문기여자

    답변 달아주신 웹지기, 기진곰님 감사합니다
    호스팅 업체에 문의 결과, 서버에 방화벽 걸어 놓은 건 없고 차단한 적도 없다는데..
    5월 30일 robots.txt 를 업로드한 시점부터 403 에러를 반환하고 있으니 robots.txt 을 확인해보라네요

    28일부터 크롤링이 안돼서 robots.txt 가 잘못되었나하고 재업로드하긴 했는데.. 파일도 이상이 없고

    호스팅을 옮겨야하는 것인지.. 쫌 당황스럽네요