Extra Form
PHP PHP 7.2
CMS Rhymix 2.x

사이트를 운영중입니다

하루 방문자는 100 살짝 넘습니다만

페이지뷰가 1만이 넘습니다.

리퍼러 통계에는 접속 페이지가 700밖에 뜨지 않습니다.

혹시 봇 때문인것 같은데

어떻게 해야할까요?

 

(애널리틱스 는개인사정으로 사용이 불가능합니다.)

 

  • ?

    정말 많은 크롤러가 긁어 가더라고요.
    조회 수가 비정상적으로 올라가는 원인이기도하죠. 트래픽도 차지하고 성능도 떨어트리고..
    서버 로그에서 비정상적으로 접근이 많은 IP 대역을 차단해야할거예요.

    100명에 1만 뷰면 크게 눈에 띄는 접근이 쉽게 보일 것 같네요.


    일반 웹호스팅에서도 차단 도구를 제공할 수도 있으니 해당된다면 확인해보세요.

  • ? profile
    웹 호스팅이 아닌 서버여서 따로 도구는 제공받고 있지 않습니다 ㅠ
  • profile

    방문자수에 비해 게시판에 쌓여 있는 글이 많은 커뮤니티 사이트라면

    크롤러가 처음부터 끝까지 쭉 긁어가기만 해도 서버가 터질 정도의 위력을 발휘합니다.

    구글봇도 평소 조용하다가 갑자기 작정하고 긁어갈 때가 있더군요.

  • profile profile
    크롤러 봇들을 막을수 있는 방법 모듈이나 애드온 같은게 있을까요?
  • profile profile
    필요없는 봇들은 .htaccess나 아파치설정에서 차단할 수 있습니다.
    하지만 구글봇처럼 필요악인 경우
    robots.txt에 Crawl-delay를 걸어두었습니다.
    구글봇은 딜레이만 설정해줘도 얌전해지는 것같습니다...

    User-agent : Googlebot-Image
    Crawl-delay: 30
    Allow: /
    User-agent : Googlebot
    Crawl-delay: 10
    Allow: /