라이믹스로 운영중인 블로그 사이트가 너무 느려서 확인해 보니 user agent go-http-client/1.1 이녀석으로 접속되는 한개의 ip가 무지막지하게 get 요청을 하고 있어서 ip 차단을 했는데요.
저런 user agent로 접속해서 사이트를 긁고 있는 놈은 뭐하는 놈인가요?
ip 차단하고 사이트 속도는 정상화 되었습니다.
193.239.154.245
홍콩쪽 ip로 잡히는 것 같습니다.
| PHP | PHP 7.2 |
|---|---|
| CMS | Rhymix 2.x |
-
-
무지막지하다는 검색봇들보다 극악하게 긁는거 보니 의도가 선한지 악인지 상관없이 결과적으로는 제 사이트에게는 엄청난 피해를 주는 상화인데 뭐하러 사이트를 통째로 긁어가고 있던건지.... -
Go-http-client 유저에이전트 접속 자체를 통으로 다 차단할지 더 알아봐야겠네요.
이부분으로 접속되는 것 중 막지 않아야 할 것들이 있는지 여부 등이요. -
따로 Golang 으로 제작된 프로그램을 이용중인게 아닌 이상, 통으로 차단해도 문제 없을것 같습니다,
일반 유저들이 저런 UA를 보여줄 가능성을 0% 으로 봐도 무방하고,
사이트 운영에 도움이 될만한 봇들이 저런 UA를 보여줄 가능성도 0% 에 수렴합니다. -
193.239.154.245 의 아이피 사용지는 또 일본인거 같네요. 홍콩,일본 등 VPS 서비스하는 업체의 서버를 사용하는 것 같네요.
-
무단 크롤링할 때 흔히 사용하는 프로그램 중 Go 언어로 제작된 것이 있나 봅니다. 여기저기 자주 출몰하더군요. 그 밖에도 파이썬이나 노드로 작성된 크롤링 프로그램도 종종 보입니다. PHP는 너무 눈에 띄어서 그런지, 요즘은 user-agent에 PHP라고 박아서 나오는 경우는 많지 않더라구요.
-
크롤링도 양심좀 있게 해야지 사이트가 뻗던 말던 그냥 막 긁어대니 나 잡아보셔 하는거지 이건 뭐...
평소 방문자도 많지 않아 페이지뷰도 얼마 없는 블로그인데 갑자기 너무 느려져서 왜 그런지 찾아서 조치하게 만드는게 참 성의가 없습니다.
-
예의없는 로봇은 혼나야지요. ㅎㅎ
연구 등 정당한 목적으로 크롤링하는 경우도 있지만, 그렇더라도 사이트의 정상적인 운영에 지장을 줄 정도라면 양심을 넘어서서 법적으로도 문제삼을 수 있는 것이고... 무엇보다도 정당한 크롤러라면 user-agent에 자신의 신분과 URL을 분명히 밝히도록 되어 있습니다.
악의적이거나, 유해한 봇이라고 봐도 무방할 것 같습니다.