Extra Form
PHP PHP 7.2
CMS Rhymix

라이믹스로 변경한지 이제 보름 되었습니다. 

처음에 신기하게 라이믹스로 갈아타자 마자 트래픽이 1.5~2배까지 올라가서 좀 지켜보자 했는데

여전히 트래픽은 증가한채로 있습니다. 사실 문제는 안되는 수준이라 지켜보고 있습니다.

그런데 신기하게 트래픽은 2배까지 올라갔는데.. 네이버 애널리틱스는 방문자가 거의 없는 것으로 나오네요.

400~800 트래픽이 80이하로 뚝 떨어졌는데 처음 며칠은 그냥 지켜보자였는데 보름간 정확히 라이믹스로 갈아탄 시점부터 80이하로 떨어져서 회복이 안되네요.

사실 접속이 0이라면 셋팅 문제일까 아니면 어디가 문제가 생긴걸까 생각하겠는데 80이란 숫자가 있으니 이것은 뭘 의미하는지 모르겠네요.

라이믹스에서 뭔가를 더 셋팅해야 할까요? SEO라든가...

 

traffic-3.jpg

traffic-4.jpg

 

  • profile
    라이믹스로 바뀌면서 봇이더 많이 방문한다고 봐야겠네요.
    봇 방문이 나쁜것만은 아닙니다.
  • profile profile
    • else
    • 질문기여자
    그렇게 생각하고 트래픽이 많아진건 신경안쓰는데 아래 네이버 방문별 분포 분석보면 방문자가 거의 없어요... 이게 뭐가 문제일지 감도 안오네요.
  • profile

    현재 방문자와 보여지는 트래픽이 이상하다고 판단하시고 원인을 찾으려할때 가장 빠른 것은 서버의 access.log를 보시는게 가장 빠릅니다. 그냥 추측이나 예상되는 시나리오를 열거해서 그 중 하나를 고르는 건 경험상 시간 낭비입니다.

    여기에는 모든 방문의 기록이 되어있고 봇인지 여부도 판단할 수 있고 만약 여기서 정상적인 접속 외 별다른 것이 보이지 않는다면 그냥 정상으로 보고 운영하시면 될 것 같습니다.

     

    https://xetown.com/topics/1479297

     

    저는 몇일 전 5만 방문중 1만 방문의 봇을 처리했습니다. 최근 access.log 파일에 5만 방문이 기록되있는데(12시간 인가..) 1만이 한놈 이었습니다.

     

    https://rxtip.kr/free/2248

  • profile profile
    • else
    • 질문기여자
    답변 감사합니다. 확인해 보겠습니다.
    웹지기님은 정말 많은 상황들을 알고 계시네요. 꾸준히 질문도 하시고 꾸준히 답변 해주시고...
  • profile profile
    • else
    • 질문기여자

    웹지기님 글 잘 읽었습니다 .
    access.log파일을 보니 어마어마한 봇들이 설치고 다니네요...
    일단 구글과 네이버 봇만 허용하는 것으로
    robots.txt를 아래와 같이 설정했는데..
    User-agent: Googlebot
    allow: /
    User-agent:Yeti
    Allow: /
    User-agent: *
    Disallow: /

    웹지기님이 나열하신 에이전트 들이 제 로그파일에도 많이 보이는데....
    WordPress/
    AhrefsBo
    BLEXBot
    DotBot
    SemrushBot
    MegaIndex
    UCBrowser
    Mb2345Browser
    MicroMessenger
    LieBaoFast
    Headless
    netEstate
    newspaper
    Adsbot/3.1
    PetalBot
    MJ12bot
    이 리스트도 다 적어주는게 나을까요? 아니면

     

    User-agent: *
    Disallow: /
    이렇게 했으니 괜찮을까요?

  • profile profile
    robots.txt 파일에 오지말라고 적어 놓는다고 말을 들을 놈들이면 악성이 아니죠. 서버에서 차단을 하셔야 합니다.
  • profile profile
    • else
    • 질문기여자
    답변 감사합니다. 서버단에서 차단해야 하는군요. 시도해보겠습니다.
  • profile profile
    • else
    • 질문기여자
    아파치 설정 파일인 httpd.conf 파일에 에이젼트를 나열하여

    BrowserMatchNoCase "WebZIP" go_out
    BrowserMatchNoCase "Teleport" go_out
    BrowserMatchNoCase "NamoWebEditor" go_out
    BrowserMatchNoCase "WebSymmetrix" go_out
    BrowserMatchNoCase "GetRight" go_out
    BrowserMatchNoCase "WebCopier" go_out
    BrowserMatchNoCase "FlashGet" go_out
    BrowserMatchNoCase "Nimo" go_out
    BrowserMatchNoCase "Googlebot" go_out
    BrowserMatchNoCase "msnbot" go_out
    BrowserMatchNoCase "msnbot-media" go_out
    BrowserMatchNoCase "msnbot-NewsBlogs" go_out
    BrowserMatchNoCase "Yahoo" go_out
    BrowserMatchNoCase "Yahoo!" go_out
    BrowserMatchNoCase "Feedfetcher-Google" go_out
    BrowserMatchNoCase "Alexa" go_out
    BrowserMatchNoCase "OutfoxBot" go_out
    BrowserMatchNoCase "Netcraft" go_out
    BrowserMatchNoCase "Gigabot" go_out
    BrowserMatchNoCase "findlinks" go_out
    BrowserMatchNoCase "NaverBot" go_out

    와 같은 설정을 해서 막은경우인대 이경우 해당 검색엔진 봇이 크롤링할때 403 에러가 발생하면서 차단된다.
    웹서버에 .htaccess 파일 사용이 허가 되어있을경우 .htaccess 파일을 설정해서 위의 설정을 덮을수있다.

    SetEnvIfNoCase User-Agent .*google.* search_robot
    SetEnvIfNoCase User-Agent .*yahoo.* search_robot
    SetEnvIfNoCase User-Agent .*naver.* search_robot
    SetEnvIfNoCase User-Agent .*daum.* search_robot
    SetEnvIfNoCase User-Agent .*msn.* search_robot

    Order Deny,Allow
    Allow from env=search_robot

    특정 경로 (ex "/" ) 에 .htaccess 을 만들고 위의 내용을 입력해주면 해당 검색엔진에게 허용을 한다.

    이런식으로 해봐야겠습니다.
    다른 분들도 필요할지 몰라서 자료 차원에서 내용 카피해 놓습니다.

    일단 robots.txt에서만 위와 같이 막은것으로도 라이믹스로 옮기기전 트래픽으로 돌아간것 같습니다. 일단 한 일주일은 지켜봐야 겠지만..
  • ?

    24시간 내내 일정한 수준으로 트래픽이 잡히는걸로 봐선 사람이 아니라 봇인거 같습니다.
    원래 특정 붐비는 시간대에 몰리는 모습이 보여야 하는데 그게 안보이는걸로 봐서는...
    트래픽이 늘어난건 사이트가 리뉴얼되면서 그만큼 봇들이 많이 긁어가서 그런게 아닌가 싶네요.

    UA별로 정리된 통계자료같은거 나오면 그거 한번 보시면 될 것 같은...

  • ? profile
    • else
    • 질문기여자
    답변 감사합니다. 차근차근 한번 찾아봐야겠습니다. 계약에 비해 트래픽이 적어서 크게 걱정할 것은 아닌데..
    이유는 알아봐야 겠습니다.