지난달부터 갑자기 트래픽이 폭주하여 .htaccess에서 봇 차단을 설정하여 해결을 했었습니다.
페이스북 봇도 차단했더니 게시판 글의 SNS 공유(페이스북과 카카오톡)가 되지 않아서 다시 해제를 했습니다.
검색을 통해 찾아보니, robots.txt 에 Crawl-delay 를 설정하면 어느 정도 효과가 있다는 글을 봤습니다.
페이스북 봇도 아래처럼 추가하면 효과가 있는 건가요?
만약 효과가 있다면 Crawl-delay 는 정해진 값(최대값)이 있는 것인지도 알고 싶습니다.
추가로 페이스북 봇을 차단하면서도 게시글의 SNS 공유가 가능한 방법도 있을까요?
User-agent: facebookexternalhit
Crawl-delay: 1000
facebookexternalhit은 crawl-delay를 존중하지 않습니다.
페북 사용자들이 링크를 공유했을 때 *즉시* 그 링크의 썸네일과 정보를 불러온다는 개념이기 때문입니다.
최근에는 원래 목적과 다르게, 사용자들이 공유하지도 않은 페이지를 마구 긁어가고 있지만
말 안 쳐듣는 습관은 그대로인 것 같습니다.
링크 공유 로봇과 일반적인 크롤링을 구분할 수 없다는 점을 악용하는 게 아닐까, 무척 의심됩니다.
게시판 n페이지, 검색 화면 등 일반 사용자들이 공유할 이유가 없는 주소라도 차단하면 도움이 될 것 같네요.
AI 학습데이터 수집을 빌미로 여기저기 들쑤시고 다니는 Claudebot, GPTBot 같은 녀석들도 마찬가지입니다.
걔네들 사업 하는데 내 서버 트래픽(=돈)을 기부할 이유는 없으니, 싹 다 차단각입니다.