어떤사람들이
제사이트 게시판글들
웹크롤링 프로그램을 돌려서
게시판글들을 수집해가는듯합니다
일단 서버에도 부담되고
크롤링하는걸
프락시를쓰는지
아이피 바꿔가면서 수집해가는듯합니다
제가 수동으로 로그를보며 정확하진않지만
이상한 액션 아이피는 수동으로 제가 차단을하는데
가장 확실한게 상대는 curl쓰는거니
curl로 수집하기위해 접근하는것만 막음되는데
curl 수집하는거 알고 막는 방법이 있나요?
| PHP | PHP 5.x |
|---|---|
| CMS | XpressEngine1 |
-
-
?
답변감사합니다 프락시도쓰고 유저에이전트도 여러가지 바꿔 쓰는걸로 압니다만 막는방법없슬까요 ㅜㅜ
-
?
아이피가 해외에서 오는거라면 해외 IP를 모두 막으면 어떨까요?
-
수집하는건 어떻게 확인하나요? -
?
인터넷 검색해보면 똑같은 게시판으로 있습니다만 ㅜㅜ
-
상대가 curl을 쓴다는 것을 어떻게 아셨나요? user-agent에 curl이라고 나오던가요? 만약 그렇다면 curl이라는 user-agent를 차단하면 되겠지요. 윗분 말씀대로 정상적인 브라우저를 사칭하고 있다면 curl이라고 확신할 수도 없고요. 세상은 넓고 크롤러 종류는 많습니다. -
?
답변감사한데요 기진곤님 크롤러 정확히 어떤건지 모르겠스나
프락시도쓰고 유저에이전트도 여러가지 바꿔 쓰는걸로 압니다만 막는방법없슬까요 ㅜㅜ
-
?
크롤러가 질문자님께서 질문하신 봇의 일종이라 생각하시면 됩니다.
크롤링, 크롤러 를 구글에 검색해보시면 어떤 느낌인지 인지하시리라 생각이 들고요.
프록시, 유저에이전트 이런것을 일반 브라우저처럼 인식시켜서 아이피도 다르고 막 그러면 여러 유저로 인식할수밖에 없어서 막기가 상당히 까다롭긴합니다.
역추적을 들어가야할텐데.. 역추적자체도 애매하게 어려울것 같으니 자세한 부분은 전문가를 고용해서 크롤링 막는 기능을 제작하시는 편이 가장 빠르고 정확할듯 합니다. -
?
람보님 소중한의견 감사합니다^^
-
게시판을 통해 본문과 제목에 알맞는 사이트명을 기재하시거나 (워터마크)
퍼가는 도메인자체를 차단시키는 방법 혹은 하루에한번 게시판의 주소를 변경하는방법
작정하고 퍼가는사이트에 맞추어
게시판주소를 하루에한번 한달만 변경해놔도 아마 금방 포기하고 다른사이트를 찾을것입니다.
역으로 퍼가는사이트에 내사이트를 홍보할수있을만한 본문 배너나 혹은 흰색폰트로 사이트명을 하단에 주기적으로 적어놓으시면 효과있을것입니다. -
?
상당히 많은생각을 고려하게하는 답변이시네요 참고할게요 ^^ 답변감사해요^^
사실상 상대편에서 작정하고 달려들면 막을 방법은 많지 않습니다. 그나마 접속시 캡차를 풀어야 접속이 가능하도록 하면 간단한 봇은 막아지지만 이것도 매 접속시마다 띄우는게 아닌이상 사람이 수동으로 해제한뒤 재시도해버릴수 있어서 완벽하게 막을순 없습니다.