타운광장토픽게시판

Googlebot-Image 이녀석은 도무지 친하게 지내기가 쉽지 않네요.

karma
조회 수 265
크게 작게 댓글로 가기
크게 작게 위로 아래로 댓글로 가기

다운로드 (3).png

다운로드 (4).png

지난번 금요일 저녁부터 그동안 차단해두었던 Googlebot-Image 차단을 해지했습니다.

토요일 하루 발생한 국제트래픽이 5G...

감당할 자신이 없어서 썸네일만 개방했다가 나중에 Crawl-Delay만 설정하는 것으로 일단 조용해졌습니다.

 

어제 이것저것 구글콘솔에서 설정을 좀 변경했더니...

K-20190222-308183.png

오후 2시 이후에 발생한 국제트래픽이 7.5G...

로그를 살펴보니까 

wildgreen.co.kr 66.249.71.93 - - [22/Feb/2019:08:37:29 +0900] "GET /files/attach/images/264/306/222/001/bf6bf429aafc9694bc774e77d046e5e2.JPG HTTP/1.1" 200 195735 "-" "Googlebot-Image/1.0" US
wildgreen.co.kr 66.249.71.93 - - [22/Feb/2019:08:37:29 +0900] "GET /files/attach/images/264/306/222/001/f36cba3d78e6622e97181a5f1db5c5d3.JPG HTTP/1.1" 200 215316 "-" "Googlebot-Image/1.0" US

 

Googlebot-Image가 동시다발로 ./files/attach/images 폴더를 통채로 복사하는 수준이네요... 헐~~

현재 진행형이니 오늘은 또 얼마나...

도무지 타협이 안되네요.

 

 

karma

profile
imageprocess, 통합검색확장모듈
아빠팬더곰은 영원한 초보
위로 아래로
댓글 5
  • profile
    한동안 막아놓았다면 예전에 못 긁어간 것까지 모두 긁어가려고 할 테니 더 극성이겠지요.
    그냥 국제트래픽 신경 안 써도 되는 호스팅을 쓰시는 게 속편합니다.
  • profile profile
    이미지가 대략 150G 정도라서 저걸 몽땅 긁어간다고 생각하니 열어놓을 엄두를 못내고 있습니다.
    지금은 서버코로케이션인데 국제 트래픽이 너무 짜게 설정도어있어서...
    몇번 찾아봤는데 대부분 제한이 있던데...국제 트래픽 신경 안써도 되는 서버 호스팅은 어디가 있을까요?
  • profile profile
    AWS 라이트세일 서울리젼이요 ㅎㅎ
    타운에서 종종 얘기가 나오듯이, 이미지 파일들만 그쪽에서 캐싱하도록 하는 방법도 많이 씁니다.
    단, 서울리젼이라도 외국계 회사라서 국내 업체들은 국제트래픽으로 취급할 수 있기 때문에
    150기가를 처음 복사하거나 캐싱할 때 발생하는 트래픽은.... ㅠㅠ
  • profile profile
    그렇지 않오도 이미지캐싱은 고려하고 있습니다.
    aws같은 번듯한 서버는 꿈도 못꾸고 국제트래픽 구분하지 않는 홈서버를 생각중입니다.
    집에 공유기 뒤편에 서버를 만들고 테스트는 충분히 했습니다.

    rsync와 lsyncd로 동기화는 이미 하고 있는 상태라서 laelbe/my-image-cdn 이거면 어떻게 되지 않을까 싶어서...
  • profile profile

    아마존 라이트세일 한달에 5불 이면 월 2테라 제공됩니다. 부족하면 같은 플랜으로 추가 결제만 하면 아마 서버를 별도 구성하지 않아도 트래픽이 공유되서 4테라로 커버됩니다.(트래픽 같은 플랜의 공유 부분은 제가 더 확인해봐야 겠지만 거의 확실합니다.)