구글봇이 초당 50개씩 들어와서 서버가 12시간단위로 먹통이 됩니다
속도 조절하는 방법이 있나요?
구글 서치콘솔은 없는것같고 robots.txt에 딜레이 10으로 해뒀는데도 변화가 없네요
| PHP | PHP 7.4 |
|---|---|
| CMS | Rhymix 2.x |
-
-
구글은 크롤러 딜레이(Crawl-delay) 를 지시를 따르지 않는다고 합니다.
서버를 보강하시는게 좋은 해결책 같아보이네요.
| PHP | PHP 7.4 |
|---|---|
| CMS | Rhymix 2.x |
구글봇이 초당 50개씩 들어와서 서버가 12시간단위로 먹통이 됩니다
속도 조절하는 방법이 있나요?
구글 서치콘솔은 없는것같고 robots.txt에 딜레이 10으로 해뒀는데도 변화가 없네요
robots.txt는 매번 읽는 것이 아니기 때문에
한번 수정하고나면 2-3일후에 반영됩니다.