안녕하세요.
오늘 낮에 잠깐 운영 중인 홈페이지를 들어가보니, 접속이 안되더군요 ;;
그래서 확인해보니 Semrushbot 이란 놈이 엄청나게 크롤을 해되고 있었습니다
결국 해당 봇을 차단했고, 이리저리 검색해서 악성 봇 몇개를 차단했습니다만 ..
제가 참고했던 게시글이 꽤나 오래 전 게시글들 혹시 최근에 차단하고 있는 봇 리스트가 있다면 알고 싶습니다.
감사합니다!
안녕하세요.
오늘 낮에 잠깐 운영 중인 홈페이지를 들어가보니, 접속이 안되더군요 ;;
그래서 확인해보니 Semrushbot 이란 놈이 엄청나게 크롤을 해되고 있었습니다
결국 해당 봇을 차단했고, 이리저리 검색해서 악성 봇 몇개를 차단했습니다만 ..
제가 참고했던 게시글이 꽤나 오래 전 게시글들 혹시 최근에 차단하고 있는 봇 리스트가 있다면 알고 싶습니다.
감사합니다!
AhrefsBot Amazonbot Arachni BLEXBot DotBot Exabot Eyeotabot MegaIndex MJ12bot PetalBot SemrushBot WordPress bbot brands-bot dataforseo-bot
기본적으로 이 정도 차단하고, 그 밖에 또 눈에 띄는 놈이 있으면 그때그때 차단 목록에 추가하고 있습니다. 그 중에서도 SemrushBot은 여기저기 많이 출몰하는 악질이죠.
봇들이 난장판을 부리는 사이트라면 bad bot blocker처럼 어마어마하게 복잡한 설정을 사용하기보다는, 역발상으로 Googlebot, Mediapartners-Google (애드센스), bingbot, Yeti (네이버)만 빼고 모든 봇을 일괄 차단하는 초강수를 두는 편이 차라리 나을 수도 있어요. 단, 대형포털 로봇이 과부하를 일으키는 경우도 적지 않다는 것이 함정...