질문/조언질답게시판
Extra Form
PHP PHP 7.4
CMS Rhymix 2.x

발견됨 - 현재 색인이 생성되지 않음

 

제 사이트의 모든 게시판 글이 위의 이유로 사이트 색인에서 제외되었습니다.

검색으로 저 원인이 일어나는 이유를 알아봤는데 크롤링으로 인해 사이트에 무리가 갈수 있다고 크롤링을 연기한거라고 하던데.. 해결방법을 검색해봐도 제외된 페이지를 일일이 다 색인 요청을 하는 방법만 적혀있어서 그렇게 했는데 워낙 제외된 페이지가 많아서 하루에 할 수 있는 요청수를 넘어버렸다고 내일 다시 시도하라고 뜹니다.

구글에서 사이트맵 제출했고 문제없이 링크 다 받아오고 하는데도 색인이 생성되지 않는 이유가 궁금합니다.

원래 사이트에 올라오는 글 일일이 구글 서치콘솔에 찾아가서 색인 요청을 해야하는건가요? 초보라서 모르는게 많습니다.. 알고계신다면 답글 부탁드립니다.

  • profile

    구글에서 크롤링하여 색인을 할 것인지 아닌지 여부는 구글이 판단을 합니다. 네이버도 그렇구요.
    네이버도 그렇고 구글도 다시 크롤링 요청을 할 수 있는 갯수는 하루에 굉장히 제한된 숫자만 제공합니다.

    요청에 의해 처리할 수 있는 여지가 거의 없다고 보셔야 합니다. 이런 요청으로 다시 크롤링을 가능하게 하는 것은 급히 변경된 문서의 내용으로 다시 크롤링되어 색인이 교체되길 원할 경우나 사용하라는 의미죠.

    구글도 그렇고 네이버도 그렇고 지금 말씀 하신 크롤링 해서 색인(자기들 검색자들에게 보여줄 곳에 포함시킬지)여부는 구글,네이버가 결정합니다.

    원하시는 대로 모두 다 색인이 안될 수도 또 그 시기가 굉장히 빠르게 되지 않을 수도 있습니다.

    대략 다른 사이트와 크게 다르지 않는 상황 같아 보입니다.

     

    *사이트의 모든 문서가 그렇다면 다른 이야기 될 수 있겠습니다.

    사이트의 오래된 문서 1개라도 색이된게 없는게 맞나요?

     

    보다 많은 조언을 받고 싶다면  url을 공개하세요.

  • profile profile

    네 사이트 주소와 개인정보처리방침을 제외한 모든 것(메뉴나 문서)이 제외됨처리 되어버렸습니다

    Robots.txt는 사이트맵 접근만 혀용해두었고 구글에서 사이트맵 제출한 이후로 색인 요청 제외 아무것도 건들인게 없습니다

    몇일전부터 계속 색인 요청을 해보고 있는데 구글에서 site: 으로 제 사이트를 검색해봐도 전이랑 그대로 제 사이트와 개인정보처리방침만 존재할 뿐 아무것도 달리지지 않았습니다

  • profile profile

    Robots.txt 는 사이트맵 접근만 허용 해두었고..
    이게 무슨 의미인가요? 나머지는 접근이 차단되게 해 놓으셨다는 건가요???

    그럼 구글은 하라는대로 잘 충실이 이행할텐데요. Robots.txt 차단했다면 구글이 색인을 안하는게 당연합니다.

     

    색인제외됨 이라고 명시적으로 표시된 곳에서 사유가 나오는 것으로 압니다. 거기 사유를 확인해보세요.

  • profile profile

    4B866381-E360-4E0F-B306-B4AC0E525844.jpeg

    아 제가 혹시 잘못한건가요..??

  • profile profile

    그건 사이트맵만 허용한 구문이 아닙니다.
    모든 것을 허용하였고
    사이트맵의 위치를 명시적으로 알려준 것에 불과합니다.

    따라서 해당 구문에 문제로 색인이 제외되지 않습니다.
    보고서에 색인제외됨 문서를 선택해서 사유를 확인해 보세요.

     

    크롤링됨,발견됨 - 현재 색인이 생성되지 않음 이 사유는 먼저 말씀드린대로 정상입니다.

     

    그리고 정상적인 문서,페이지 상태인지라도 진단을 받고 싶다면 사이트를 공개하셔야 합니다.

  • profile profile

    화면 캡처 2021-08-21 180310.png

    리다이렉트 문제는 https로 전환데는데 있니까 상관없고 대부분의 페이지가 발견됨 탭으로 들어가 있으니까 말씀하신대로 아무 문제 없다는 뜻인데 그냥 제 커뮤니티의 컨텐츠가 형편없어서 크롤링해주기 싫은걸까요.. 

    어쨋든 답변 정말 감사합니다

     

  • profile profile

    유효탭에는 문서가 0 라는건가요??

    현재 색인되지 않았다는 문서수도 겨우 20페이지 밖에 안되는데요.

     

    사이트를 공개하세요. 컨텐츠가 그래서 그런지라도 뭘 봐야 알죠.

  • profile profile
    아니요 유효탭 2개입니다. 아까 말씀드렸듯 사이트 메인과 개인정보처리방침 페이지요.
    그리고 아직 글 수가 44개인 작은 커뮤니티입니다ㅠㅠ 8월 초에 열었거든요..
  • profile profile

    아이고... 그냥 기다리세요. 바로바로 안됩니다. 전 또....
    아주 지극히 정상입니다. 신규 사이트를 그렇게 빠르게 색인해서 노출되고 그렇지 않습니다.

    나름 정상적인 운영이 이어진 사이트에서 검색자들에게 문서로 제공해주려고 하는게 검색엔진의 기본적인 일입니다.

     

    현상태에서 정상적으로 구글이나,네이버에서 처리할 수 있는 시멘틱한 구조를 무너뜨린 상황이 아닌지라도 미리 점검하고 싶다면 사이트를 공개하세요.

  • profile profile
    아 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 부끄럽네요 괜히 웹ㅈㅣ기님 시간낭비하신것같아서.. 죄송합니다.
  • profile profile
    네. 정말 시간낭비 했습니다. 처음부터 사이트를 공개하셨거나 아니면 정보를 미리 주셨으면 이런 긴 시간 낭비 안했죠.
  • profile profile

    초짜가 만든 사이트고 별로 이쁘지도 않아서 사이트를 공개하기 좀 꺼려졌습니다. 그리고 라이믹스 조금 다룰줄만 알지 이외에는 거의 몰라서 그런부분이 문제될줄을 몰랐습니다. 다시 한번 죄송하다고 말씀드리고 싶고 도움주셔서 정말 감사드립니다.