서버 이전을 앞두고 최대 목표가 트래픽을 최대한 분산시켜 트래픽 비용을 저렴하게 운영하려는 것 이었습니다.

이미지서버를 두고 본문이미지,프로필,섬네일 등 컨텐츠와 회원 관련된 비중이 많은 이미지를 캐시서버에서 가져가도록 조치를 하니 굉장히 많은 트래픽을 캐시서버에서 분담해 주었습니다.

 

이미 여러번 언급 드렸던 최근 다시 구성한 이미지서버는 아마존라이트세일 월 5불 짜리입니다. 월 2테라 라는 넉넉한 트래픽이 매력이 있습니다.

 

본서버를 라이트세일에서 돌리지 않기로 결정했습니다. 나름 코어나 기타 환경을 고려해서 다른 곳으로 결정을 하다보니 이전할  그곳 트래픽이 정말 트래픽은 다른곳에서 사용해! 라는 요금정책입니다. 하루 10G입니다. 아무리 비싼 요금제를 써도 10G 입니다. 역으로 이야기 하면 싼 요금제 쓰는 사람이 조금 위안을 받는 괴상한 구조입니다 ㅋㅋ

 

저희 트래픽은 하루 10G가 조금 넘거나 더 넘거나 합니다. 컨텐츠 관련 굵직한 것을 이미지서버에서 분담해 주니 충분히 많은 트래픽을 절감했지만 앞으로 방문자가 조금 더 늘어난다면 압박이 생길 수 있어 이전 하기 전에 나머지 트래픽 발생 요인도 제거해 보자 하고 찾아보았습니다.

 

여기부터 중요합니다.

 

사이트에 뭔가 보여주려고 하다보니 귀찮아서 css로 꾸미기 보다는 이미지로 그냥 보여주는 것으로 많이 합니다. 이게 트래픽과 전혀 관련없는 시절에는 생각도 못했던 부분인데...  이게 트래픽을 생각보다 많이 잡아먹습니다.

 

본문 안의 컨텐츠의 파일들이 훅,어퍼컷 정도 된다면 기타 사이트에서 사용하는 이미지들이 쨉 정도 되는 잔펀치 입니다.

 

그런데 문제는 방문자가 많아지다보니 잔펀치를 너무 많이 맞아 결정타가 되겠더군요..

 

 

그래서 나머지 제가 사이트 전역에서 사용하는 광고용 이미지를 비롯해, 레이아웃의 모든 이미지  그리고 폰트어썸,xeicon 등 생각보다 작다고 생각했지만 방문자가 발생할때마다 100% 내려받게 되는 파일들 대부분을 캐시서버쪽으로 돌렸습니다.

 

이렇게 하니 아직 캐시되지 않은 본문의 이미지와 그리고 기타 캐시하지않은 일부의 것에서만 트래픽이 발생하게 되었네요.

 

사이트 전역에서 얼마나 많은 트래픽발생 요소를 많이 배치했냐에 따라 다르겠지만.. 무심코 하나둘 추가해 두었던 것이 생각보다 많더군요.

 

 

  • ?
    성능이 좋으나 트래픽은 짠 곳은 웹, DB를 돌리고
    성능은 나쁘나 트래픽은 빵빵한 곳은 이미지, 파일 캐시로 돌리는 것이 정석인듯 합니다.
    국내에는 성능도 좋고 트래픽도 빵빵한곳은 잘 찾기가 힘드네요
  • ? Lv30
    둘다 만족하는 곳이 있다면 저도 굳이 서버를 분리하거나 하지 않을텐데 이런 조합이 나오는건 결국 둘 중 하나는 만족하지 못한다는 것이죠. 그래도 현재 구성이 나름 효율이 가성비 쪽에서는 꽤 괜찮은 조합일 듯 합니다.

    10G 트래픽이 3G 이하로 줄어들지도 모르겠네요. 나머지는 캐시서버가 다 가져간거죠 ㅋ
  • Lv30 ?
    전문가님의 손길이 필요하실 만큼 사이트 규모가 큰 것이 항상 부럽습니다.
    더욱 번창하셔서 XE의 대표 커뮤니티로 성장하시길 빌겠습니다 ^^!
  • ? Lv30
    사이트 규모가 커진건 아니에요 ㅜㅡ
    사이트 규모가 조금 성장한건 5-6개월 되었나요? 그럴건데.. 그동안 문제가 없던건 호스팅사에서 저희 메모리를 2번이나 늘려줘서 여유있게 사용하다가 최근에 일부를 회수했더라구요.

    그래서 사실 진작에 이전했어야 할 상황이었는데 서비스 메모리 때문에 버티고 있던거죠.

    말씀 하신대로 이전할 만큼의 방문자가 발생한 것은 맞습니다. 그것도 오래전에요 ㅋ
  • Lv30 ?
    차라리 서비스 메모리를 안 줬으면 진작에 옮기실 수 있었을텐데, 줬다가 빼았는 호스팅사 담당자가 너무하군요..ㅡ.ㅡ
  • ? Lv30
    2G -> 4G -> 6G -> 4G

    이렇게 된겁니다 ㅋ 저희 2G 짜리에요 ㅋ 그런데 예네들이 disk 가 워낙 나빠서 느린건데 제가 느리다고 하도 민원을 넣으니 메모리 문제라고 메모리를 2번을 저도 모르는 사이에 늘려 놓은거에요 ㅋ
  • Lv30 ?
    웹서버에서 체감속도에 가장 큰 영향을 미치는것 중 하나가 HDD냐 SSD냐 인것으로 알고있습니다.
    설연휴 끝나시고 이사가시면, 사이트 속도에서는 걱정이 Zero~ 되시겠군요
  • ? Lv30
    지금 db가 HDD에 있는게 가장 큰 문제입니다. 이게 해소되면... 저도 그것 때문에 지금 미친놈 처럼 웃고 있어요 ㅋ
  • ?
    쓸데없는 질문이기는 하지만, db서버 분리와 캐시서버 만드는거는 서로 다른건가요?
  • ? Lv30
    db서버와 웹서버를 분리하는 차원은 이것과 다른 차원입니다. 말씀 하시는 서버분리는 리소스 분리입니다.
    제가 지금 본문에서 작성하는 글은 트래픽 분산이라는 것을 확인하실 수 있을 겁니다.
  • ?
    이미지 잔잔한거 진짜 무시 못하겠더군요

    저희 사이트처럼 디자인하고 담쌓고 살아도.

    이번달 트래픽 오버했네요.

    이미지 서버를 따로 빼기도 애매한 상황이라..

    웹지기님 글보면서 늘 고민입니다.

    조만간 결정을 ㅎㅎ
  • ? Lv30

    트래픽이 뭐때문에 발생하는지 검토해 보셔서 그것이 분산이 가능한 것이라면 빼버리세요. 사실 캐시서버는 리소스가 거의 필요없어 트래픽만 넉넉한 서버면 됩니다. 저희는 주로 이미지 위주로 캐시해서 뿌려주긴 하지만...
    코어 사용율은 0%에 수렴합니다.

     

    다운로드.png

     

     

    본서버에 필요한 js,css 등 그리고 다양한 요소가 주된 트래픽 발생 요인이라면 분산이 어렵습니다.

  • Lv30 ?

    이미지, js, css등은 변경될 일이 거의 없어서
    기본적으로 10개월 캐시된걸 쓰도록 서버설정을 해놔서 크게 부담이 줄긴했지만...
    신규사용자들은 어떻게 안되더군요
    주 프로그램이
    제가 날코딩 해논 프로그램이라서
    이미지 분산은 xe쪽은 정석으로 분산하고 나머지는 rsync 로 동기화할까 하는데. 쫌만더 고만해봐야겠습니다. ㅎㅎ
    트래픽 관련글 늘 잘보고 있습니다.
    감사합니다.

  • ? Lv30

    브러우저캐시는 말짱 꽝입니다. 신규가 안오는 사이트는 죽은 사이트고 그렇게 된다면 얼마나 좋겠습니까. 캐시설정 길게 하면 트래픽이 전혀 안드는데요 ㅋ
    운영하시는 사이트도 그렇고 저희 사이트도 그렇고 매일 새로운 방문자가 온다고 보시는게 맞습니다. 저희는 고정방문 코어활동인원은 실제 전체 방문자의 5%도 안됩니다. 물론 그분들이 고마운 컨텐츠를 만들어주는 분들이긴 합니다. 그런데 정작 트래픽 소비는 매일 새로운 분들이 하고 계시죠.

    이미지던 뭐던 실제 다운로드가 되어야 하는 것 그리고 그것이 주된 트래픽이라면 캐시서버쪽으로 돌리고 본서버에서 그쪽으로 경로를 바꾸시면 됩니다. rsync 는 좀 다른 방향이구요.

  • Lv30 ?
    저희 사이트가 좀특이한게

    한 학원에서 몇년째 같은 문제를 학생들께 풀리다보니
    제가 날코딩한 프로그램에는 확실히 효과가 있기는 합니다. ㅎㅎ

    말씀하신거처럼 신규사용자들에게 무용지물이고 이게 성수가 신규방문자가 많으면 고스란히 트래픽 부담으로 오죠.

    문제는 제가 날코딩한 프로그램에서 사용하는 이미지가 매시간 업데이트되면서 개수가 추가되는데
    그걸 이미지서버와 본서버른 rsync로 동기화 할려고 합니다.

    본서버에 지속적인 이미지 갱신 요청은 서버에 부담도 주고...
    ㅎㅎ 저도 잘 모르겠습니다.

    이미지가 시시각각 추가되니.. ㅎㅎ
  • ? Lv30

    캐시서버는 알아서 합니다. rsync 는 그렇게 쓰는게 아니구요. 암튼..
    캐시서버를 해 놓으시면 본서버에서 최초 요청시 -> 캐시서버로 파일을 보내고 -> 캐시서버에서 내려받습니다.
    이후 캐시된 것을 다른 방문자들은 계속 이용하게 되는거구요.

     

    글 작성자, 혹은 관리자님에 의해서 캐시서버로 바로 보내지게됩니다. 본서버에서 읽혀지는 경로를 캐시서버 경로로만 해 놓으시면 됩니다.

  • ? Lv30

    아마 지금 상황에서 캐시서버로 넘길것이 비중이 많다면 캐시서버를 의뢰하시면 괜찮은 작품으로 만들어주실 겁니다.

    저희는 저희 캐시서버의 용량 60%에 도달하면 가장 이전 것, 그리고 용량과 관계없이 180일이 지난 것이 캐시서버에서 삭제되도록 되어 있어 캐시용량이 꽉차더라도 순환하면서 효율적으로 이용이 가능하도록 제대로 만들어주셨습니다.

  • Lv30 ?

    아 이제야 제대로 이해했습니다.

     

    자동으로 보낸다니 신기하네요

     

    어떤방식인지 궁금해지네요 ㅎㅎ

    역시 무식하면 물어보고 배워야 합니다.

    근데.. 이미지 캐시서버가 다운되면?

    엑박뜨는거겠죠?

    하긴 그분이 셋팅함 idc문제 아니고는 그럴일 없겠지만요

  • ? Lv30

    아마존 정도 되면 다운될 일은 없습니다. 캐시서버가 다운되면 본섭에서 읽어오는 주소를 Rewrite 했거나 애드온에서 치환했다면 그것만 중지하면 본서버에서 읽기 때문에 장애 대응은 쉽습니다. 그리고 트래픽이 늘어나면 2대 3대 운영할 수 있어 그런 걱정은 안하셔도...

     

    웹서버가 원래 파일 같은 것은 캐시를 하거든요. 그것을 적극 활용하는 겁니다. 한번 읽으면서 캐시하는 겁니다.

    자동으로 보내는 것은 서버에서 간단하게 구성을 해놓고...
    본섭에서 읽는 곳을 캐시서버의 주소로 해 놓았기 때문에 작성자가 파일을 올리거나 이미지를 첨부하고 나서 바로 읽거나 하기때문에 이때 이미지주소서버로 요청을 하면서 자동으로 보내지게 됩니다. 원리는 간단하지만.. 뭐...

    이미지가 아닌경우 그리고 지금 제공하는 파일을 사용자가 어떻게 이용할때 해당 파일이 브라우저에서 가져가는지 등만 다를 것이고 캐시해서 제공하는 건 비슷 할 겁니다.

    만약 캐시서버를 해 놓고 캐시하기 위해 별도로 매번 신규 컨텐츠가 작성될때 마다 뭘 해야 한다면 사용하기 어렵죠.

    아마 본서버에 파일이나 이미지를 올리고 경로를 읽을때 캐시서버의 경로를 제공하는 것은 서버단위의 Rewrite 에서 간단하게 처리가 될 겁니다.

    CMS에서는 애드온 등으로 간단하게 읽는 화면의 주소를 다른 주소로 치환이 쉬운 장점이 있습니다. 물론 웹이라면 이런 애드온이 사용이 어려워도 서버단에서 처리가 가능합니다.

  • ?
    저도 믿음직한 그 분께 항상 의뢰를 드리고 싶고, 이메일로 개인적으로 연락을 드렸을 때 비용도 전혀 비싸지 않은 편이였으나
    항상 제가 지갑 사정이 좋지 않다는 점(학생이라..)이 발목을 잡더라구요... ㅠㅠ
    결국 이미지 캐시서버 / 서버 셋팅 전반적인 것들을 모두 제 힘으로 꾸역꾸역 하고는 있습니다만..
    언젠가는 저도 꼭 그분의 힘을 빌리고 싶습니다.
  • ? Lv30
    직접 가능하시다면 하셔도 무방하죠. 뭐 같은 자원으로 효율의 차이가 나긴 할텐데요. 아마 제가 보기엔 지금 정도 동접에 그정도 스펙이 효율로 볼때 낭비나 나쁘게 구성하신건 아닌 것 같아요. 지금보다 더 동접이 몰린다면 아마 조금 더 업 하시면서 효율적으로 세팅이 필요해 보이긴 합니다!
  • ? Lv3
    제가 서버에 무지한데..
    일반 데이터는 카페24 호스팅으로 하고,
    이미지만 아마존서버로 할수 있는건가요?
  • ? Lv3 Lv30

    이전이 아니고 별도 이미지캐시서버를 아마존라이트세일 저렴한거로 구축한다음 본서버의 이미지가 자동으로 캐시서버에 캐시가 되어 방문자들은 실제 이미지를 캐시서버에서 내려받게 됩니다.

  • Lv30 ? Lv3
    초보자가 이미지캐시서버를 아마존 라이트세일로 구축할수 있을까요?
    구글링 해보긴했는데, 자세한 내용은 아직 없는것 같아요 ㅠ
  • ? Lv3 Lv30
    저도 초보자라 작업의뢰를 해서 전문가분께 맡겨서 했습니다.
  • ? Lv3 Lv30
    직접 하실 수 있는 문서는
    https://xetown.com/tips/1091765

    위 문서를 보고 따라해 보셔도 되는데 저것은 아파치로 구성했습니다. 저희는 nginx 로 했구요.
    큰 성능차이는 없겠지만 제가 봤을때 캐시된 파일을 관리하는 부분 그러니까 언제 삭제하는지 등의 고려는 빠진 듯 합니다.
  • Lv2

    저는 카페24에서 웹호스팅 이용하다가
    독립서버 이용했었는데 2년동안 결제한 돈이.. 100만원을 넘어갑니다 ㅠㅠ
    증가하는 트래픽과 용량문제때문에 홈서버라는 큰 결단을 내려서
    현재 2달넘도록 문제없이 동작중입니다.

    미니타워케이스에 CPU(라이젠2700X 중고), SSD, HDD, 램 8GB(추후 16GB 업그레이드예정)
    사양으로 리눅스 설치 후에 웹서버 구축해서 사용중입니다.

    1년 채우면 본전뽑고 전기세만 내면 되네요 하핳

    거기에 애드센스 수익까지.. 재미로 운영하는 커뮤니티가 이제는 담배값 벌어주는 효자네요ㅋㅋ

    방문자수가 급격히 많아져도 KT기가랜이라 그런지 빠릿빠릿하고.. 트래픽걱정도 없구요.
    무엇보다 하드를 2TB 장착해놓아서 용량 걱정도 없네요.
    솔직히 안정성이나 관리 측면에서는 호스팅이 좋긴 하지만
    어느정도 기본적인 관리는 검색을 통해서도 답을 많이 찾을수 있어서..

    경험상 개인적으로 홈서버를 권장드리고싶네요.
    (집에서 데스크탑 3대, 노트북 1대, 스마트폰 4대 사용하는데
    KT에서 연락온적도 한번도 없었네요. 거주지는 지방입니다. 서울권은 잘 모르겠네요..)

  • Lv2 Lv30
    네. 저는 IDC에 넣길 원하고 있습니다. 방법을 모르는건 아니구요.
  • Lv30 Lv2
    잘 해결 되시길 바랍니다 화이팅 !
  • Lv2 Lv30
    저희는 해결은 다 되었습니다 ㅋㅋ 트래픽이 컨텐츠 외에서도 상당히 발생한다는 그런 정보공유 성격의 글이에요.
    캐시서버는 구축이 되었구요. 캐시서버에서 트래픽 거의 대부분 분담해주고 있습니다. 월 5달러요.
  • Lv30 Lv2
    아하 역시 웹지기님..
    월 5달러면 매우 저렴한 편에 속하네요 ㄷㄷ..
  • Lv2 Lv30
    아마존이 한국에서만 라이트세일상품에서 트래픽을 퍼주고 있어서 그리고 전문가님이 캐시서버를 뚝딱 만들어주실 수 있어서 가능했습니다 ㅋ
  • Lv30 Lv2
    최근에 여행다녀오느라 타운에 자주 못들어왔었는데
    댓글을 보니 '그분'이랑 '전문가' 라는 타이틀을 가지신 분을
    언급하는 댓글이 많더라구요.. 눈팅 열심히 해서
    누구신지 알아내고야말겠습니다 핳ㅎ
  • Lv2 Lv30
    사실 저는 집단의 의미로 전문가 라는 표현을 하지만 공교롭게 말씀하신 그분에게 자주 서버작업을 의뢰하곤 합니다. 실력이 끝판 이시고 XE,라이믹스는 주물주물 하시는 분이라 RXE+서버 작업에 최적화 되신 분입니다. 물론 그분께서는 RXE뿐 아니라 백엔드쪽은 거의 다 주물주물 하십니다.
  • Lv30 Lv2
    아하.. 혹시 그분께서 XE 모듈이나 위젯 관련 픽스나 제작의뢰도 받으시나요 ?
  • Lv2 Lv30
    잘 모르겠습니다. 제가 의뢰를 받는 입장이 아니라 ㅋ 제가 예상하는 부분은 쪽지로 전달해 드렸습니다 ㅋ