특정 아이피 대역이 크롤링을 너무 심하게 해서
트래픽 압박이 있습니다.
너무 심한 아이피 대역에서는
1초에 4~5회 정도 크롤링 하고 있는데
그게 하루 종일 긁어 가니 트래픽 압박이 있는것들이 있습니다.
구글이나 네이버가 긁어 가면 기회비용이 괜찮아 이해하고 넘어 갈수 있는데
아이피를 관리해주는 기관은 드림라인, 네트로피가 주를 이루고 있습니다.
agent 에 yeti, daum, google 3개다 안 뜹니다.
혹시 아이피가 봇인지 아니면 다른 목적으로 크롤링 하는지 알 수 있는 방법이 있을까요 ?