보통 네이버 웹마에 등록할 때

 

User-agent: Yeti
Allow:/

정도나 +사이트맵 위치 정도만 작성하는편입니다.

 

제가 생각하기에 로봇이 제 루트페이지 이하 모든 곳을 수집하다보니(혹은 인덱스페이지의 복잡함)

구조적으로 좀 복잡하다고 판단하여 최적화부분에서 약간의 패널티가 있는 듯 합니다.

제가 말씀드리는 패널티란 웹마에서도 언급했다시피 최적화여부에따라 웹페이지수집요청 시

우선적으로 적용한다는 부분에서의 패널티를 말씀드립니다.

다른 특정 홈페이지빌더를 이용했을 때 보통 등록 후 3일후면 웹페이지수집요청을 눌러도 즉각 '수집성공'으로 바뀌는데

xe 수정레이아웃으로 만든 홈페이지를 등록시 몇개월이 지나도 요청완료에서 잘 바뀌지를 않습니다.

물론 로봇의 방문 주기에 따라 2~3일 후면 자동 수집해가긴 합니다.

웹마스터도구안 사이트최적화부분에서 "웹표준을 준수하는 상위 몇% 사이트입니다..." 1% , 10% , 20% 이러한 수치에는 관심이 없습니다.

다만 로봇이 필요한 정보만 가져가게끔 불필요한 부분을 disallow 하고 싶은데

xedition수정레이아웃으로 홈페이지를 만들다보니 

함부로 disallow: /layouts 을 추가하기도 겁나서

질문드립니다. 

20190529_135514.png

참고가 되실지 모르겠지만 ftp 접속 시 루트페이지목록입니다. 감사합니다

  • profile

    지금 의심하는 부분과 레이아웃, rbots.txt 에서 로봇을 막지 않은 부분 전혀 관련성이 없습니다.
    네이버가 수집을 안하는 이유는 굉장히 다양하며 어떤 원인인지는 많은 노력을 통해 확인이 될 수도 있고 확인을 하지 못한 채 수집도 안되는 사이트로 유지될 수도 있습니다.

     

    또한 /layout 의 경우 웹에서 접근하는 주소가 아니므로 네이버 봇이 올리도 없고 해당 부분을 막을 이유도 없고 막아도 아무런 일도 발생하지도 않습니다.

     

    웹으로 접속하는 다양한 url 중 봇이 접근 하지 말았으면 하는 주소 형태를 robots.txt 에 등록을 하는 것이지만 이것과 수집과는 관계가 없습니다. 오히려 수집을 그만 하라고 등록하는 것이라 수집이 안되던게 잘 되는일은 절대 발생하지 않습니다.

  • profile ?
    댓글 감사드립니다.
    지식이 짧아서 기본적인 부분을 이해도 못하고 있었네요.ㅜㅜ
    웹지기 님이 쓰신글과 댓글들을 보고 예전에 많은 도움을 받았었습니다!
    다시 한 번 감사드립니다!
  • profile

    XE의 폴더 구조는 URL 구조와 무관합니다. /layouts 이런 곳은 실제 웹페이지 URL이 있는 곳이 아니기 때문에 긁어가지도 않고, 굳이 막을 필요도 없습니다.

     

    주로 문제가 되는 것은 똑같은 글에 어떻게 접근하는지에 따라 여러 주소가 존재하기 때문인데, 예를 들면

    https://xetown.com/questions/1223664

    https://xetown.com/1223664

    https://xetown.com/index.php?mid=questions&document_srl=1223664

    https://xetown.com/index.php?mid=questions&document_srl=1223664&page=2

    https://xetown.com/index.php?mid=questions&document_srl=1223664&page=3&search_target=

    https://xetown.com/index.php?document_srl=1223664

    등등 모두 똑같은 글을 가리킵니다.

     

    소스상에는 짧은주소 하나만 긁어가라고 분명히 canonical URL을 지정해 놓았는데, 네이버 로봇 지능이 포레스트 검프 수준이라 이걸 못알아먹고 이것저것 다 긁어갑니다. 그리고는 중복 콘텐츠라고 페널티 시전 ㅋㅋㅋ

     

    짧은주소를 사용하는 사이트(=정상적인 사이트)라면 짧은주소만 긁어가면 됩니다. 물음표(?)가 포함된 주소는 단 한 개도 긁어갈 필요가 없습니다. 물음표가 있는 주소를 긁어가지 못하도록 하는 robots.txt 규칙을 검색해 보세요.

  • profile ?
    댓글 감사드립니다.
    기본적인 개념을 이해하는데 도움이 되었습니다
    네이버 웹마가 좀 멍청하다는 얘기는 많이 들었지만 그래도 그 쪽 시장을 바라보고 있는 입장에서
    어떻게든 맞춰보려고 하다보니 제가 좀 산으로 간 것 같네요..
    웹지기님과 더불어 기진곰님의 글과 댓글들을 보고 예전에 많은 도움을 받았습니다.
    다시 한 번 감사드립니다!!