Depth level:  24
Scanned pages: 50630
Added pages:  49824
Pages left:  2290
Next level:  804
Time passed:  02:46:23

 

끝나질 않아요!

이거 중요한게 2시간 지난게 아니라 26시간이 흘렀어요 ㅠㅠ

  • profile
    정보가 충분하지 않아 답변하기 곤란한 질문이라 그냥 넘기고 있습니다만....
    사이트의 문서량 사이트맵 생성하는 설정(depth 깊이 등 여러가지..)에 따라 시간은 천차 만별입니다.

    또한 사이트에 서버에서 직접 설치해서 서버에서 자체문서를 크롤링하여 만드는 방식이 아니라면 굉장히 오래걸릴 수 있다고 봅니다.
    또한 트래픽소모도 굉장할 거구요.

    저는 말씀하신 제품 설치형버전을 저희 서버에 설치해서 사용합니다. 저희는 문서가 굉장히 많다고 보기는 어렵지만 그래도 어느정도는 있다고 생각합니다. 3-4시간은 걸리는 듯 합니다.

    서버에서 제가 설정한 날짜에 자동으로 사이트맵을 생성하기에 제가 따로 해주는건 없습니다. 자동으로 자기가 스스로 맵을 만들어서 사이트맵을 루트폴더에 만들고 핑을 구글에 날리기 때문에 제가 할 일은 없습니다.

    문서는 2만개 정도로 집계가 되고 있습니다. 사이트맵 생성 설정에 depth는 무제한으로 해 놓았습니다.

    잘 쓰고 있습니다.
  • profile profile
    웹지기님 구매하신것이 혹시 Unlimited Sitemap Generator 인가요 ? 아니면
    PRO인가요 ? 20불짜리를 매월 결제로 사용하시는건지 궁금해서 여쭤봅니다 ㅎㅎ
    저도 좀 따라서 사볼까해서요 ㅎㅎ
  • profile profile
    아니요. 저희는 php 설치형버전 구입해서 저희 서버에 설치했습니다.
  • profile

    또한 불필요한 주소까지 크롤링하는 것을 막기 위해 설정부분에 제한하는 주소에

    /index*
    /?module*
    /?mid*

    이런것을 포함시켰습니다. 아시겠지만 XE의 경우 위와 같은 주소로도 같은 문서가 굉장히 다양하게 보여지기 때문에 이런걸 제한해도 시간이 굉장히 단축될 겁니다.

  • ?
    저건 뭔가 설정에 오류가 있었나봐요 다시한번 시도해보겠습니다!
  • ? profile

    서버에 설치해서 사용중이신건가요? 저처럼 주소제한을 하지 않으시면 서버에 직접 설치하는 버전이라도 시간이 굉장히 오래걸립니다. 1개의 게시물이 저런 형태의 주소로 굉장히 다양하게 접근이 가능하기 때문이죠.

  • profile ?
    저 옵션하고나니 웹버전으로 작성시간 20분만에 완료네요;;;
    저게 문제였던거였습니다. 정말 감사합니다!
  • ? profile
    문제라기 보다는 게시글 하나를 너무 다양한 포맷의 형태로 접근할 수 있는 것이 원인이 되는 것이죠. 도메인/게시판명/문서번호 형식 뿐아니라 위 막다둔 형태의 주소로도 접근이 가능하기에 depth 가 무척 깊어지면서 크롤링량이 너무 방대해 지는 것 입니다.
  • profile
    음 말씀하시는 것이 check-domains의 것을 말하시나요? https://www.check-domains.com/sitemap/
    저는 여기에 입력하면 단 1초도 안걸리는(즉 단 1페이지만 작성이 되는) 현상이...하아.
    예전엔 안그랬는데 왜 이럴까요?