안녕하세요.
간혹 대형사이트 돌아다니면 gif 원본으로 올리고 서버에 저장하는 사이트가 많은데요.
이렇게 대형 사이트는 어느정도 스토리지를 보유하고 있길래 용량을 압축하지 않고 그냥 업로드 하는지 궁금합니다.
이런 대형 사이트는 대략 몇테라씩 몇백개로 구축하고있을까요?
갑자기 궁금해서 올립니다 :)
-
보통 이런 사이트들은 S3 같은 오브젝트 스토리지를 사용하지 않나요? -
HDD를 사용해서 물리적인 파일서버를 구축하는 것에 비해 S3가 훨씬 더 비쌉니다.
필요한 만큼만 사용하면 된다고 하는데,
10배 더 많은 공간을 미리 준비해 놓는 것보다 더 비싸니 말 다했죠... -
지속적으로 백업디비랑 실제사용디비랑 분리하거나 첨부파일 업로드시 백업용사이트에 업로드한다던가 이런식의 트래픽 분배하는 방식으로 사용하셔요.
실제로 XETown에서도 그렇게 운영하시는 분들이 계시고요 ㅎㅎ -
사이트 이용인원 * 기간 에 따라 스토리지 용량은 늘어날 겁니다. 회원,방문자가 작성한 게시글을 임의로 삭제하거나 하는 그런 사이트가 아니라면요.
들어오는 수익이 그런 비용을 내고도 충분히 남기에 운영이 되겠죠. 테라 단위 스토리지는 요즘 흔하니까요.그리고 생각하시는 정도의 대형 사이트들은 어차피 자체 서버를 운영한다고 가정한다면 스토리지 비용은 구입비용만 발생할 것이므로 큰 비용도 아닐 겁니다.(매월 고정비가 발생하는 구조가 아닐...)
-
?
사실 스토리지 용량은 크게 부담이 안됩니다.
트래픽, API 호출... 비용이 무서울 뿐... -
저도 개인 총용량 15테라정도 용량이데 nas 4개하드 총용량이요 -
1U 서버에 3.5" HDD 최대 4개까지 들어갑니다. (간혹 2개밖에 안 들어가는 서버를 싸게 임대해주는 경우가 있는데, 이건 하프1U라고 더 작은 규격입니다.) HDD 하나에 최대 18TB이고, 성능과 안전을 위해 RAID 10으로 구성한다면 미러링으로 버려지는 공간 빼고 36TB의 용량을 사용할 수 있겠지요. 이 정도만 해도 국내 커뮤니티 20위권을 넘나드는 사이트에 5~10년간 쌓인 움짤 저장용으로는 충분합니다.
대용량 파일서버로 많이 사용하는 4U 서버라면 최소 16개, 내부 구조를 좀 뜯어고치면 20개 이상 넣을 수도 있습니다. 백업서비스를 운영하는 미국의 모 회사는 4U 서버케이스를 커스텀 제작해서 하나에 480TB씩 저장한다고 합니다. 이거 하나면 국내 커뮤들 중 디씨 빼곤 모두 커버될 걸요?
GIF 움짤 용량 은근히 얼마 안 됩니다. 대부분은 1MB도 안 되고, 몇MB짜리 고화질 움짤을 100만 개 올려도 몇TB일 뿐입니다. 요즘 여러 사이트들이 GIF를 MP4로 압축하고 어쩌고 하는 것은 대부분 용량보다는 트래픽 때문입니다. 몇TB를 저장할 HDD는 몇십만원이면 되지만, 동접자 수만 명이 그걸 받아가면서 발생하는 트래픽은 매달 몇천만원, 매년 수억이니까요. HDD 구입/임대 비용은 그야말로 1년 예산의 1%도 안 됩니다.이미지 용량보다는 게시물, 댓글, 추천 기록 등 DB에 쌓이는 정보가 훨씬 부담이 됩니다. DB는 디스크보다도 RAM 용량에 훨씬 더 민감하거든요. 만약 DB 용량이 1TB라면 DB서버에 1TB짜리 디스크를 꽂는다고 되는 것이 아니라, 최소 수백GB의 RAM이 있어야 안정적으로 돌아갑니다. TB 단위의 디스크보다 GB 단위의 RAM이 훨씬 더 비싼데 말이죠. XE처럼 일반적인 CMS는 DB를 분할하기도 쉽지 않습니다. 최근에 모 사이트에서 256GB RAM이 부족해서 DB서버를 옮겨드린 일이 있습니다.
-
다들 좋은 답변해주셔서 감사합니다 :)