하루동안 facebookexternalhit, meta-extern 두개 봇이 트래픽 5기가 가까이 잡아먹고 아마존 봇이 800메가 가까이 긁어갔는데 이 봇들을 차단하면 불이익이 있을까요?
이 봇들을 차단하지 않았을때 얻게되는 좋은 점도 궁금합니다..
제 사이트 특성상 검색엔진에 노출이 잘 되어야하는 상황이라 함부로 차단하지도 못하고 트래픽만 엄청 뺏기고 있습니다 ㅠㅠ
| PHP | PHP 7.2 |
|---|---|
| CMS | Rhymix 2.0 |
| PHP | PHP 7.2 |
|---|---|
| CMS | Rhymix 2.0 |
하루동안 facebookexternalhit, meta-extern 두개 봇이 트래픽 5기가 가까이 잡아먹고 아마존 봇이 800메가 가까이 긁어갔는데 이 봇들을 차단하면 불이익이 있을까요?
이 봇들을 차단하지 않았을때 얻게되는 좋은 점도 궁금합니다..
제 사이트 특성상 검색엔진에 노출이 잘 되어야하는 상황이라 함부로 차단하지도 못하고 트래픽만 엄청 뺏기고 있습니다 ㅠㅠ
facebookexternalhit는 페북에 링크를 공유했을 때 정보를 표시하기 위해 메타 태그와 썸네일 등을 가져가는 로봇입니다. 이것을 차단하면 페북에 공유했을 때 안 예쁘게 나옵니다.
나머지는 대기업에서 AI한테 떠먹일 학습데이터를 수집하기 위해 아무 사이트나 마구 긁어가는 기생충 같은 놈들입니다. 차단해도 아무 문제 없습니다.
이 목록에 나오는 것 중 facebookexternalhit 외에는 모두 차단해도 됩니다. 영리 기업에서 AI를 개발하는데 일반인이 트래픽을 기부할 이유는 전혀 없으니까요.
저런 봇들을 허용하면 언젠가 AI가 님의 사이트를 사람들에게 추천해 줄지도 모르지만, "구글이 긁어가면 검색 노출이 잘 된다"처럼 검증된 인과관계는 아니고, 막연한 희망일 뿐이죠. 정말 그런 식으로 AI를 활용한다고 해도, 인터넷에서 몰래 긁어온 사이트보다는 당장 광고비 내는 사이트를 훨씬 더 잘 추천해 줄 것 같습니다.^^