커뮤니티토픽게시판

사이트 특성상 사진자료가 많다보니...

얼마전 측정해보니까 원본사진까지 포함하면 150G 정도 되더군요.

그러다보니 접속자 수에 비해서 트래픽 발생이 많은 편입니다.

 

대상이 자생식물이다보니 해외에서 접속하는 회원은 몇 안됩니다.

해외트래픽의 주된 발생요인은 검색봇들입니다.

 

어제 저녁에 이것저것 설정을 변경하면서 그동안 차단해두었던 Googlebot-Image 차단을 해제했습니다.

K-20190216-396276.png

아주 미친놈들처럼 덤벼드는군요...

물론 Googlebot은 허용했었으니까 차단을 해제하는 순간부터 Googlebot-Image 하나가 발생시키는 트래픽입니다.

일단 썸네일만 허용하고 며칠 지켜봐야할 것같습니다.

 

User-agent: Googlebot-Image
Disallow: /files/attach

 

 

글쓴이 karma

profile
imageprocess Github : https://github.com/soonjae/imageprocess
통합검색확장모듈 Github : https://github.com/soonjae/isx
아빠팬더곰은 영원한 초보
  • profile

    12시간동안 색인된 이미지를 보니까 갈등생기네요.

    K-20190216-413157.png

    User-agent: Googlebot-Image
    Crawl-delay: 10

     

    살살해라 잉~~

  • profile profile
    구글,네이버,카카오,빙 이정도는 어쩔수 없이 열어두어야 한다고 생각하는 편입니다.
    검색에 노출을 원한다면 말이죠.
  • profile
    https://xetown.com/1172268
  • profile profile
    그러게요.
    전에도 구글은 항상 열어놓았었지요.
    문제는 이미지봇 때문에 발생하는 해외트래픽때문에 ...
    전체 트래픽은 허용된 용량의 10%도 사용 못하는데
    국제 트래픽은 30G라 하루에 2-3G씩 발생하는 이미지봇트래픽을 감당하기 쉽지않습니다.
    공존하는 방법을 찾아봐야겠습니다.
  • profile profile
    국제트래픽 별도제한 없는 곳으로 이전을 고려해야할 정도 트래픽 제한이네요.
  • profile profile
    그런 IDC 있으면 정보좀 주십시요.
  • profile profile

    일단 제가 쓰는 곳 기본트래픽이 적어서 캐시서버를 별도로 아마존 라이트세일로 구성해서 사용합니다.

    iwinv 가상서버 하루 10G 해외별도과금은 없습니다.

    CPU사용량이 굉장히 많지 않으면 캐시서버가 아닌 본서버를 아마존러이트세일로 하면 트래픽이 굉장히 넉넉합니다. 여가도 해외 구분 없구요.