질문/조언질답게시판
Extra Form
PHP PHP 7.2
CMS Rhymix

안녕하세요.

 

커뮤니티 사이트를 하나 운영중인데요

 

각 사이트의 인기글을 수집해 오고 있습니다.

 

크롤러는 파이썬으로 제작되었습니다.

 

근데 이게 DB에 부하가 꽤 걸려서인지 502 오류가 자주 뜨더군요 ..

 

그래서 서버 설정을 튜닝하면 쫌 괜찮아 지지 않을까 해서요 ..

 

서버 설정 튜닝 방법이나 최적화 등 방법 알고 계신 분이 있을까요??

 

일X 싸이트는 서버비가 월 200만원 씩이나 든다고 하네요 ..ㅎㄷㄷ 서버도 엄청 여러대 뒀다고 하더군요.

 

저는 현재 지금 Linode 160불 짜리 서버 사용중이구요. 서버 사양은 다음과 같습니다 :

96.png

 

서버에 더이상 투자 하기는 힘들고, 여러대 두기도 힘든 상황이라 ..

 

어떻게 해야 렉도 없고 최적한 환경의 사이트를 만들 수 있을까요?

 

 

전문가 님들의 조언 부탁드립니다. ㅠㅠ

  • ?

    일베가 200만원!? 동접 2만명가까이나오는데 서버는 예외로 두더라도 회선비가 어마무시하게나와서 수천만원이상 나오지 않을까싶네요.. 국내에서 운영한다면 그 만큼 광고 수익도 엄청나겠지만 예전에 국내광고사한테 짤리기전에 소유자가 쓴글 봤는데 한달에 3~4천만원 씩 나간다고 들은 것 같네요

  • ? profile
    클플 LAX로 잡히는 것을 보니 회선비는 예전에 비해 많이 아끼고 있을 겁니다. ㅋㅋㅋ
    그거 빼고 순수하게 서버비(임대료 or 분할납부)만 계산한다면 200만원에 못할 수준은 아니죠.
  • ?

    저도 크롤링 해본 기억이나는데 서버에 안물리고 윈도우 개인 피씨에서 40만개 게시물 가져오는데 2~3주 , 서버에선 초당 5~10개 게시글 등록 수준이었는데 어느정도 쉬었다가 다시 크롤링했었는데 사양 더 낮은 가상서버였는데 큰 문제 없었어요..

    502에러가 자주 뜬다면 크롤링 간격을 더 두고 작성하는 방법도 있습니다

  • ? profile
    이미 간격은 충분히 띄었습니다.
    2분 ~ 10분 사이 랜덤으로 쉽니다.
    그 후에 다시 진행되구요.

    그래도 502 뜨는건 여전 하네요.
  • ?

    좋은 서버 쓰시는데 고작 크롤러 때문에 서버가 버벅인다니...
    크롤러를 너무 과하게 돌리시는건 아닐까요? 아마 크롤러 스크립트를 동시에 여러개 띄워서 돌리실 것 같은데... 그냥 그 숫자만 좀 조절하시면 되지 않을까 하는 생각도 드네요. 제가 12코어 서버에서 크롤러 돌려본 경험으론 동시에 50개쯤 띄워도 CPU 점유율이 절반 정도밖에 안되던데.. 동시에 돌리는 갯수를 낮춰서 좀더 천천히 처리하면 되지 않을까 합니다.

    아님 혹시 셀레니움같은거라도 쓰시나... 그런걸로 크롤링하시면 부하가 어마어마하겠죠... 하여튼 동시 실행 갯수를 좀 낮춰보세요..

    아니면 크롤링을 그냥 별도의 서버에서 하시는 방법도 있을텐데요... vps 좋은게 뭡니까. 크롤링할때만 서버 잠깐 생성했다가 없애는 식으로 하면 비용은 충분히 억제할 수 있을 것 같습니다만...

  • ? profile
    스크립트는 하나구요..
    3분 간격으로 크롤링 합니다..
    대체 어디가 잘못 된걸까요 ..
  • profile ?
    음.. 기본적으로 파이선은 멀티쓰레드가 안됩니다...
    즉 파이선 스크립트 하나만 돌린다면 그 스크립트가 무슨 짓을 하든 CPU 1코어만 갈군다는 뜻이죠..
    8코어 서버에서 스크립트 하나 돌린다고 해서 서버 전체가 버벅거린다면 그건 많이 이상한겁니다.
    아마 하나만 돌린다고 말하셨지만 내부에선 다시 새끼치는 것처럼 여러개를 호출하고 있을 것으로 추측됩니다.. 사이트 여러개를 동시에 크롤링하거나 또는 여러개의 게시판을 크롤링하는 경우 각각의 게시판마다 하나씩.. 뭐 이런 식으로 스크립트를 돌릴지도 모르는 일이죠.
    스크립트 짜준 분한테 얘기하셔서 동시 부하를 낮춰달라고 하시는 수 밖에 없습니다..
    부하를 낮추면 그만큼 시간이 더 걸릴테니 크롤링 간격도 늘리시구요...
    아니면 스크립트가 3분 안에 완료되는게 아닐지도 모릅니다... 완료 되기 전에 또 실행되고 또 실행되고.. 이런 식으로 중첩되어 쌓여서 느려졌을지도 모르겠네요.
  • profile
    논란이 흔히 있고, 많은 일x는 운영자중에 서버관리를 하는 사람이 따로 있는 걸로 어디서 들어본것 같습니다.

    DDOS를 비롯하여 각종 보안 위협에 대비가 잘 되어있고, 튜닝도 엄청 개조를 잘 해놓아서 동접자수가 많았던 옛날에도 잘 버텼다고 하더라구요.

    관심이 없어서 이 말이 사실인지는 모르겠습니다만...ㅎㅎ
  • profile profile
    그렇군요 ..
    사회적으로 많은 논란을 야기시키고 있지만 서버 관리 능력은 정말 대단한 것 같아요 ..
    xe 1.4를 개량해서 사용했다니 .. 그런 점은 본받아야 될 것 같네요 ..
  • ?
    크롤링이면 불법아닌가요?
  • ? profile
    불법아닌데요?
  • profile ?
    정식계약이 아니라면 불법으로 알고 있습니다만
  • ? profile

    정식계약은 아니고 일X 싸이트 관리자분께 허가 받은 후 진행하고 있습니다.
    또한 일X 사이트에서는 저작물이 올라오지 않는것으로 알고있습니다. 저작권이 있는 게시물을 올리는것도 금지, 차단사유고요.

    불법이든 아니든 댁에서 신경 쓰실일 아닙니다.

  • profile ?
    네에엡
  • ? profile
  • profile
    502가 클플에서 쓰면 클플에서 막는거구요.
    서버에서 뜨는거면 서버 설정 문제일 가능성이 농후하죠.
  • profile profile
    서버에서도 뜨네요 ..
    클플 적용하기 전에도 떴었습니다 ..
  • profile
    저같은 경우도 1/4 수준의 서버에서 30초에 20개 정도는 거뜬히 등록됐습니다.
    첨부된 이미지를 Imgur 통해 업로드 하는 로직까지 추가되어 있는데두요.
    프록시 서버를 거쳐야 하는 상황이었던 점 고려하면, 정상적인 상황에서는 30초에 5~60개는 거뜬히 등록되지 않았을까 싶은데요.

    크롤러 스크립트에 문제가 있거나, 다른 부분에 잘못 건드린 무언가가 있거나...
  • profile ?
    크롤링 불법 아니가요?
  • ? profile
    글쎄요. 크롤링을 어떻게 사용하느냐에 따라 다르지요.
    타인의 저작권을 허가없이 가져오는거면 당연히 불법인거고,
    컨텐츠 계약을 맺고 크롤링을 하는 경우나, 저작권이 없는 자료이거나, 다른 어떤 합당한 사유가 있다면 합법인거죠.
  • profile ?
    그럼 동의없이 크롤링을 하고 그걸 게시판에 올렸는데 그 게시판에 에드센스가 있으면 법적처벌까지도. 가능한가요
  • ? profile

    게시판에 애드센스 없는데요?
    일간베스트 저장소 운영진 되십니까? 무슨 법적처벌을 논하시는지요.
    기타 문의사항 있으시면 여기 말고 개인 쪽지 주시거나 문의게시판으로 문의 바랍니다

  • profile ?
    님한테 한말 아닌데요;;
  • ? profile
    우리 사이트에 관련해서 말씀하시는거 아닙니까?
    크롤링은 일X 사이트 관리자분께 허락받고 진행중인것이오니 신경 쓰지 마세요.
  • profile ?
    관련해서 이야기 하는거 아닙니다
  • ? profile
  • ? ?

    일단 크롤링만으로는 불법이라고 할 수 없습니다. 크롤링한 자료를 어떻게 사용하느냐에 따라서 저작권같은 문제가 걸리는거지 그냥 크롤링해서 나 혼자 이용하겠다고 하면 불법이 될 수가 없죠... 크롤링이 불법이면 구글 네이버같은 검색엔진은 죄다 불법을 자행하고 있는건가요? 구글이 크롤링하기 위해서 일일이 사이트 주인한테 허가같은거 받아간게 아니잖습니까.
    다만 이게 크롤링과 DDOS 사이의 경계가 애매해서.. 과다한 크롤링으로 인해 내 사이트 운영이 방해되었다 이런 주장이 간혹 있는데... 뭐 아주 작은 사이트라면 불가능한 얘기는 아니긴 합니다. 실제로 크롤링을 과하게 해서 서버성능이나 트래픽에서 티가 확 나는 경우도 있긴 하구요. 울나라 호스팅에서 트래픽 짜게 주는건 유명하니 트래픽 한계를 채워버릴 수도 있고 VPS 1코어나 2코어어 수준에선 크롤링을 좀만 세게 하면 버벅거릴 수 있으니까요. 구지 법률만 가지고 따지면 이걸 영업방해로 볼 구석이 없는건 아닌데... 적당한 수준의 크롤링 (동시에 많은 수의 스크립트를 돌리는게 아니라 하나 또는 소수의 스크립트로 순차적으로 데이터를 가져가는 경우)라면 이게 영업방해로 인정될 가능성은 거의 없다고 봐야겠죠.

    결론적으로 말하자면 목표로 하는 사이트 규모나 성능에 맞춰서 피해를 안주는 정도에서 적당히 하는 매너가 필요하다고 봐야겠죠. 어떤 사이트든지 크롤링당하면 주인장 기분은 그닥 안좋으니까요. 

  • ? ?
    좋은답변감사합니다
    다시 한번 생각하게 되었네요
  • ? profile
    그렇군요 ..
    답변 감사합니다 ..
  • profile
    아, 서버 문제 피곤합니다. 조금 여유되시면 기진곰님 찾으세요.
    배우시는 것이라면 패스하시구요.
  • profile profile
    넵 ..
  • ?
    “댁에서 신경 쓰실일 아닙니다”, “신경 쓰지 마세요”...
    다들 걱정하시면서 조언해주시는건데 너무 반응이 날이 선 것 같습니다. 진정하세요...
  • ? profile
    네 ..