보통 네이버 웹마에 등록할 때
User-agent: Yeti Allow:/
정도나 +사이트맵 위치 정도만 작성하는편입니다.
제가 생각하기에 로봇이 제 루트페이지 이하 모든 곳을 수집하다보니(혹은 인덱스페이지의 복잡함)
구조적으로 좀 복잡하다고 판단하여 최적화부분에서 약간의 패널티가 있는 듯 합니다.
제가 말씀드리는 패널티란 웹마에서도 언급했다시피 최적화여부에따라 웹페이지수집요청 시
우선적으로 적용한다는 부분에서의 패널티를 말씀드립니다.
다른 특정 홈페이지빌더를 이용했을 때 보통 등록 후 3일후면 웹페이지수집요청을 눌러도 즉각 '수집성공'으로 바뀌는데
xe 수정레이아웃으로 만든 홈페이지를 등록시 몇개월이 지나도 요청완료에서 잘 바뀌지를 않습니다.
물론 로봇의 방문 주기에 따라 2~3일 후면 자동 수집해가긴 합니다.
웹마스터도구안 사이트최적화부분에서 "웹표준을 준수하는 상위 몇% 사이트입니다..." 1% , 10% , 20% 이러한 수치에는 관심이 없습니다.
다만 로봇이 필요한 정보만 가져가게끔 불필요한 부분을 disallow 하고 싶은데
xedition수정레이아웃으로 홈페이지를 만들다보니
함부로 disallow: /layouts 을 추가하기도 겁나서
질문드립니다.
참고가 되실지 모르겠지만 ftp 접속 시 루트페이지목록입니다. 감사합니다
지금 의심하는 부분과 레이아웃, rbots.txt 에서 로봇을 막지 않은 부분 전혀 관련성이 없습니다.
네이버가 수집을 안하는 이유는 굉장히 다양하며 어떤 원인인지는 많은 노력을 통해 확인이 될 수도 있고 확인을 하지 못한 채 수집도 안되는 사이트로 유지될 수도 있습니다.
또한 /layout 의 경우 웹에서 접근하는 주소가 아니므로 네이버 봇이 올리도 없고 해당 부분을 막을 이유도 없고 막아도 아무런 일도 발생하지도 않습니다.
웹으로 접속하는 다양한 url 중 봇이 접근 하지 말았으면 하는 주소 형태를 robots.txt 에 등록을 하는 것이지만 이것과 수집과는 관계가 없습니다. 오히려 수집을 그만 하라고 등록하는 것이라 수집이 안되던게 잘 되는일은 절대 발생하지 않습니다.