질문/공유질답게시판

robots.txt 질문드립니다.

스트렌져

robots.txt를 업로드를 할려고하는데

 

User-agent: *
Allow: /
Disallow: /admin$
Disallow: /admin/
Disallow: /*?module=admin$
Disallow: /*?module=admin&

 

이렇게 해도 작동이 되나여..

 

그리고 사이트맵.xml 의 용도는 무엇인지궁금합니다.

위로 아래로
댓글 2
  • profile
    Allow: /
    이것 때문에 아래것이 무시되는지 테스트해보세요.
    구글웹마스터도구에서 통과 차단되는지 확인 가능합니다.

    사이트맵은 사이트내의 페이지 문서의 url 을 기록하여 검색엔진이 가져가 활용하게 하는 것인데 실제 별 효과는 없습니다. 어차피 실제 크롤링해서 문서가 있는지 확인하고 문서 내용을 파악하기 때문에 보조적인 제출이라고 보면 됩니다.
  • profile profile
    아 그렇군요..답장감사합니다.