| PHP | PHP 7.2 |
|---|---|
| CMS | Rhymix |
안녕하세요.
커뮤니티 사이트를 하나 운영중인데요
각 사이트의 인기글을 수집해 오고 있습니다.
크롤러는 파이썬으로 제작되었습니다.
근데 이게 DB에 부하가 꽤 걸려서인지 502 오류가 자주 뜨더군요 ..
그래서 서버 설정을 튜닝하면 쫌 괜찮아 지지 않을까 해서요 ..
서버 설정 튜닝 방법이나 최적화 등 방법 알고 계신 분이 있을까요??
일X 싸이트는 서버비가 월 200만원 씩이나 든다고 하네요 ..ㅎㄷㄷ 서버도 엄청 여러대 뒀다고 하더군요.
저는 현재 지금 Linode 160불 짜리 서버 사용중이구요. 서버 사양은 다음과 같습니다 :
서버에 더이상 투자 하기는 힘들고, 여러대 두기도 힘든 상황이라 ..
어떻게 해야 렉도 없고 최적한 환경의 사이트를 만들 수 있을까요?
전문가 님들의 조언 부탁드립니다. ㅠㅠ
저도 크롤링 해본 기억이나는데 서버에 안물리고 윈도우 개인 피씨에서 40만개 게시물 가져오는데 2~3주 , 서버에선 초당 5~10개 게시글 등록 수준이었는데 어느정도 쉬었다가 다시 크롤링했었는데 사양 더 낮은 가상서버였는데 큰 문제 없었어요..
502에러가 자주 뜬다면 크롤링 간격을 더 두고 작성하는 방법도 있습니다
좋은 서버 쓰시는데 고작 크롤러 때문에 서버가 버벅인다니...
크롤러를 너무 과하게 돌리시는건 아닐까요? 아마 크롤러 스크립트를 동시에 여러개 띄워서 돌리실 것 같은데... 그냥 그 숫자만 좀 조절하시면 되지 않을까 하는 생각도 드네요. 제가 12코어 서버에서 크롤러 돌려본 경험으론 동시에 50개쯤 띄워도 CPU 점유율이 절반 정도밖에 안되던데.. 동시에 돌리는 갯수를 낮춰서 좀더 천천히 처리하면 되지 않을까 합니다.
아님 혹시 셀레니움같은거라도 쓰시나... 그런걸로 크롤링하시면 부하가 어마어마하겠죠... 하여튼 동시 실행 갯수를 좀 낮춰보세요..
아니면 크롤링을 그냥 별도의 서버에서 하시는 방법도 있을텐데요... vps 좋은게 뭡니까. 크롤링할때만 서버 잠깐 생성했다가 없애는 식으로 하면 비용은 충분히 억제할 수 있을 것 같습니다만...
?
?
정식계약은 아니고 일X 싸이트 관리자분께 허가 받은 후 진행하고 있습니다.
또한 일X 사이트에서는 저작물이 올라오지 않는것으로 알고있습니다. 저작권이 있는 게시물을 올리는것도 금지, 차단사유고요.
불법이든 아니든 댁에서 신경 쓰실일 아닙니다.
?
?
?
게시판에 애드센스 없는데요?
일간베스트 저장소 운영진 되십니까? 무슨 법적처벌을 논하시는지요.
기타 문의사항 있으시면 여기 말고 개인 쪽지 주시거나 문의게시판으로 문의 바랍니다
?
?
일단 크롤링만으로는 불법이라고 할 수 없습니다. 크롤링한 자료를 어떻게 사용하느냐에 따라서 저작권같은 문제가 걸리는거지 그냥 크롤링해서 나 혼자 이용하겠다고 하면 불법이 될 수가 없죠... 크롤링이 불법이면 구글 네이버같은 검색엔진은 죄다 불법을 자행하고 있는건가요? 구글이 크롤링하기 위해서 일일이 사이트 주인한테 허가같은거 받아간게 아니잖습니까.
다만 이게 크롤링과 DDOS 사이의 경계가 애매해서.. 과다한 크롤링으로 인해 내 사이트 운영이 방해되었다 이런 주장이 간혹 있는데... 뭐 아주 작은 사이트라면 불가능한 얘기는 아니긴 합니다. 실제로 크롤링을 과하게 해서 서버성능이나 트래픽에서 티가 확 나는 경우도 있긴 하구요. 울나라 호스팅에서 트래픽 짜게 주는건 유명하니 트래픽 한계를 채워버릴 수도 있고 VPS 1코어나 2코어어 수준에선 크롤링을 좀만 세게 하면 버벅거릴 수 있으니까요. 구지 법률만 가지고 따지면 이걸 영업방해로 볼 구석이 없는건 아닌데... 적당한 수준의 크롤링 (동시에 많은 수의 스크립트를 돌리는게 아니라 하나 또는 소수의 스크립트로 순차적으로 데이터를 가져가는 경우)라면 이게 영업방해로 인정될 가능성은 거의 없다고 봐야겠죠.
결론적으로 말하자면 목표로 하는 사이트 규모나 성능에 맞춰서 피해를 안주는 정도에서 적당히 하는 매너가 필요하다고 봐야겠죠. 어떤 사이트든지 크롤링당하면 주인장 기분은 그닥 안좋으니까요.
일베가 200만원!? 동접 2만명가까이나오는데 서버는 예외로 두더라도 회선비가 어마무시하게나와서 수천만원이상 나오지 않을까싶네요.. 국내에서 운영한다면 그 만큼 광고 수익도 엄청나겠지만 예전에 국내광고사한테 짤리기전에 소유자가 쓴글 봤는데 한달에 3~4천만원 씩 나간다고 들은 것 같네요