질문/조언질답게시판
Extra Form
PHP PHP 7.2
CMS Rhymix 1.x

11.png

 

 

 

33.png

 

 

크롤러가 게시글에 접근하지 못하는 듯 한데

이러한 문제가 정책센터에 

무려 1600개가 넘게 쌓여있네요

 

해당 게시판들은

회원만 접근 가능한 게시판이라

아래처럼 크롤러 로그인 정보도 기입한 상태입니다

 

22.png

 

상태도 모두 크롤링 으로 표시되고 있고요

 

제가 보기엔 크롤러 액세스 정보를

문서마다 등록해줘야 하는 건 아닐텐데

왜 계속 크롤러가 접근을 못하는 걸까요

 

시간을 두고 더 기다려 봐야하는건지

다른 조치가 필요한 건지 잘 모르겠네요

 

참고로 robots.txt의 설정은 아래와 같습니다

User-agent: *

Allow: /

 

 

 

  • profile

    크롤러 접근 가능 전에 감지된 것이 뜬거 아닌가요?

    위 페이지에 전부 광고가 안뜨나요?

  • profile profile
    전에 뜬 것도 많지만 크롤링 뜨고 난 이후에 뜬 것도 많은 상태입니다
    위 페이지 전부 광고가 출력되지 않고 있구요 ㅜㅜ
  • profile

    크롤러 아이디로 로그인은 잘 하고 있던가요? (회원 목록에서 최근 로그인 시간 확인)

  • profile profile
    아직 로그인은 안 한 것 같은데
    조금 시간을 두고 기다려봐야겠네요