안녕하세요.
오늘 낮에 잠깐 운영 중인 홈페이지를 들어가보니, 접속이 안되더군요 ;;
그래서 확인해보니 Semrushbot 이란 놈이 엄청나게 크롤을 해되고 있었습니다
결국 해당 봇을 차단했고, 이리저리 검색해서 악성 봇 몇개를 차단했습니다만 ..
제가 참고했던 게시글이 꽤나 오래 전 게시글들 혹시 최근에 차단하고 있는 봇 리스트가 있다면 알고 싶습니다.
감사합니다!
| PHP | PHP 7.3 |
|---|---|
| CMS | WordPress |
-
-
?
안녕하세요 기진곰님 !
알려주신 봇은 전부 차단 리스트에 추가했습니다! 답변 정말 감사합니다.
우선 테스트를 한번 해보고 그래도 과부하가 발생한다면 알려주신 방법을 시도해보도록 하겠습니다.
정말 감사합니다!
AhrefsBot Amazonbot Arachni BLEXBot DotBot Exabot Eyeotabot MegaIndex MJ12bot PetalBot SemrushBot WordPress bbot brands-bot dataforseo-bot
기본적으로 이 정도 차단하고, 그 밖에 또 눈에 띄는 놈이 있으면 그때그때 차단 목록에 추가하고 있습니다. 그 중에서도 SemrushBot은 여기저기 많이 출몰하는 악질이죠.
봇들이 난장판을 부리는 사이트라면 bad bot blocker처럼 어마어마하게 복잡한 설정을 사용하기보다는, 역발상으로 Googlebot, Mediapartners-Google (애드센스), bingbot, Yeti (네이버)만 빼고 모든 봇을 일괄 차단하는 초강수를 두는 편이 차라리 나을 수도 있어요. 단, 대형포털 로봇이 과부하를 일으키는 경우도 적지 않다는 것이 함정...