검색로봇으로 인한 트래픽 대폭 증가 문제, 어떻게 해야 하나요?

제목대로 요즈음 검색로봇 때문에 트래픽이 대폭 증가하고 있는데, 그냥 놔두어야 하나요? 아니면 차단해야 하나요?

얼마전(3~4월)에는 틱톡 본사(바이트댄스)의 검색로봇(Bytespider)으로 인해 트래픽이 대폭증가해서, robots.txt 파일에서 차단설정했습니다.

그런데 최근(5~6월)에는 앤트로픽(오픈AI 대항마)의 검색로봇([email protected])이 전체 트래픽의 절반을 차지할 정도로 기승을 부립니다.

참고)

전체트래픽 40% 잡아먹는 놈 ==> Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; [email protected])

전체트래픽 15% 잡아먹는 놈==>Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36

이것도 차단해야 할까요?

트래픽 부하를 줄이기 위해서는 ai 학습로봇들이더라도 차단을 해야 할 것 같기도 하고....

ai가 대세라고 하니 트래픽 부담이 되더라도, ai학습 로봇들이 사이트 콘텐츠를 학습하도록 그냥 놨두어 차후 운영하는 사이트 인지도 상승을 기대하는 것이 좋은지 고민입니다.

다른 분들, 고수분들 의견은 어떤가요?

좋은 의견들 부탁해요 ^^