안녕하세요.
작은 워드프레스 블로그를 Nginx+Ubuntu+Mariadb+Php7.4 황경에서 운영하고 있으며, 거의 1년 동안 아래의 사진과 같은 내부 검색 스팸 문제를 겪고 있습니다.
그래서 서버 측에서 아에 차단을 해버리고 싶습니다만, 방법에 관해 조언을 구하고 싶습니다.
실제 작성 글 수는 300여개 남짓입니다만, 인덱싱 / 노인덱싱 된 페이지가 3만건을 넘어갑니다
/s= , /search= , /s=%/feed/ ,/search=%/feed/ 네 종류로 인덱싱이 됩니다.
이 악성 봇을 차단하기 위해 엑세스 로그를 활성화 후 확인해보니 다음과 같은 검색엔짓이 크룰링 하는것만 보이네요.....
157.55.39.239 - "GET /?s=블랙잭 전략 BO77.TOP 메이저바카라사이트 추천 바카라 전략 온라인카지노순위 qB HTTP/2.0" 200 82982 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; http://www.bing.com/bingbot.htm) Chrome/103.0.5060.134 Safari/537.36"
어떻게 해야지만 이 공격자를 찾아내서? 차단을 시킬 수 있까요 ㅠ ㅠ
방법이 궁금합니다. 감사합니다.
robots.txt에서 검색과 관련된 URL을 모두 막아버리는 것이 어떤가요?
User-agent: *
Disallow: /s=*
Disallow: /search=*
그 밖에도 문제가 되는 URL 패턴이 있다면 추가하시고요.
구글, 빙 등 정상적인 검색엔진이라면 300개 각각의 글만 긁어가면 됩니다. 검색은 자기네가 훨씬 잘 할 수 있으니 워드프레스의 검색 화면을 긁어갈 필요가 없다는 뜻이지요. 위와 같이 아예 차단해 버리면 제3자가 스팸을 아무리 시도하더라도 검색엔진이 그 주소에 방문하지도 않고, 인덱싱되지도 않을 것입니다.