질문/조언질답게시판
Extra Form
PHP PHP 7.4
CMS Rhymix 2.x

구글봇이 초당 50개씩 들어와서 서버가 12시간단위로 먹통이 됩니다

속도 조절하는 방법이 있나요?

구글 서치콘솔은 없는것같고 robots.txt에 딜레이 10으로 해뒀는데도 변화가 없네요

  • profile

    robots.txt는 매번 읽는 것이 아니기 때문에

    한번 수정하고나면 2-3일후에 반영됩니다.

  • profile
    구글은 크롤러 딜레이(Crawl-delay) 를 지시를 따르지 않는다고 합니다.
    서버를 보강하시는게 좋은 해결책 같아보이네요.