스크린샷(112).png

 

 

마지막으로 해보자 했던게 바로 정답이어서 해결되었습니다.

네이버가 파싱한 페이지에서 엉뚱한 부분의 숫자를 작성일자로 판단해서 제대로 반영하지 못하는 것을 확신하고 극단의 조치를 해서 해결을 했습니다.

 

타운도 같은 조치를 한거로 보이는데요. 

 

제가 많은 것을 해서 결국 마지막에 해결이된 주요한 것은

 

본문 이외의 요소들이 멍청한 네이버가 날짜를 뽑아가는데 어려운 것을 착안해서

본문 이외의 부분을 모두 제거했습니다.

 

1.레이아웃의 좌,우측 부분 모두 제거했습니다.

 - 좌측에는 사이트메뉴, 우측에는 여러가지 다른 것들 배치

2.본문 아래 글 목록 부분 제거했습니다.

 

1,2를 통해 본만만 딱 노출되도록 했습니다.

 

 

크롤러 자체를 제한해도 되지만 멀쩡한 구글봇에게는 제한하고 싶지 않아 네이버가 공개한 네이버 크롤러 봇 에이전트를 사용해서 해당 에이전트(Yeti) 만 제한하는 방법으로 네이버에게만 간단하게 본문만 보이도록 했습니다.

 

또 본문 읽는 페이지에서만 제한되도록 조건을 걸었습니다.

 

이것도 한 6개월짜리 숙제였는데 결국 오늘 해결을 보았네요.

색인 문서도 엄청 ? 늘어났고 작성일자도 정확하게 붙어서 색인이 됩니다. (rss 처음 수집될때 보이는 날짜 말고 진짜 색인될때 날자.)

 

속이 다 후련~~~~~~~~  하네요.

 

 

 

 

 

네이버에서는 글 제목,작성일자,본문 외 다른 것은 보이지 않아 여기서 작성일자를 못 찾는 일은 발생하지 않는 다는 것이 확인되었습니다.

다운로드 (1).png.jpg

https://xetown.com/topics/1334212

https://xetown.com/topics/1335377

웹지기

profile
10년을 다루다 보니 이제 간단한 것도 만들고 커뮤니티 운영에 관한 다양한 노하우가 있습니다. 어려운 점이나 가지신 생각을 함께 소통해 보아요.
https://rxtip.kr/ 라이믹스 꿀팁
  • profile
    정보공유 해주셔서 항상 감사합니다.
  • profile profile

    전수 검사하면서 다른 사이트에서 문서 확장변수 숫자가 작성일자로 가져가는 것을 보고 힌트를 얻었습니다.

    아마 본문 아래에 목록에서 가지는 날짜들이 영향을 주는 것 같네요. 멍청한 네이버 탓이긴 하지만 6개월간 끌어온 문제 해결해서 오늘 기분 너무 좋네요.

  • profile

    그런데 본문 내용에 날짜처럼 생긴 것이 들어가거나 댓글 작성 시간이 표시된다면....? ㅋㅋㅋ

     

    솔직히 하단목록은 서버 부하를 어마어마하게 일으키는 주범이라, 로봇에게는 보여주지 않는 것이 SEO뿐 아니라 로딩속도면에서도 큰 도움이 되지요. 단, 스킨에서만 숨기는 것이 아니라 아예 서버단에서 목록 생성을 안 하는 것이 더 빠릅니다.

  • profile profile

    목록은 방문자 체류시간 혹은 다른 여러가지 이유로 제공하지 않기는 어려워서 이런 선택을 하게되었네요
    댓글 작성시간은 사이트에 따라 또 영향을 줄 수 있겠지만 최소한 저희는 괜찮네요.(앗 저희 댓글은 비회원 열람 금지군요 ㅎ)

    문서 전체가 새로 색인되었는데 사이트 문서 숫자와 비슷하게 색인이되었습니다. 어제보다 +1000개

  • profile profile

    사용자정의 값이 날짜형식과 비슷한 곳에서 말씀하신 현상이 발견되긴했습니다. 그 사이트 그 게시판 모든 문서가 그 확장변수 날짜로 색인 ㅜㅜ

     

    그런곳은 사용자정의도 네이버에게는 제공하지 않아야...

  • ?
    그나저나 네이버 웹마스터도구 색인현황 장난질은 언제 패치될까요

    10만개였다가 -> 1만개로 줄었을떄

    그래프상 10만개에서 1만개로 줄어야되는데

    갑자기 7천개에서 1만개로 오른 것 마냥, 조작되어있는데
  • ? profile
    글쎄요. 조작인지 아닌지 저는 잘 모르게겠습니다.
    자주 변경되고 변경된 시점의 차트로 바꾸고 하는데 그건 왜 그런지 네이버만 알겠죠.
    네이버가 알면서도 못고치는게 한두가지가 아니기도 하구요.
    제가 오래전 부터 운영하는 사이트 색인 문서량도 3500여개에서 더 이상 오르지 않는 것도 뭐 네이버만이 이유를 알겠죠.
  • profile
    저두 깔끔하게 크롤러가 잘 보게 만든거 같은데 날짜를 계속 못갖고 오더라구요...그 말은 네이버에 입맛에 못맞췃다는 말인데 웹지기님이 보시기에 제 사이트 문제가 어떤거 같으세요?
    저도 잡다한건 다 지웠거든요 ㅠ
  • profile profile

    제가 보기엔 크롤러가 잘보이게 만드시면서 뭔가 html 구조가 잘못된게 아닌가 생각이 들 정도로 화면이 이상하네요. 맨 아래 layer close 버튼이 보이기도 하구요.

     

    소스를 대충봐도 잘못되어도 한참 잘못되었네요. 

    메타소스가 <head> 쪽에 있어야 하는데 지금은 본문쪽에 body 안쪽 div 안에 이런 메타소스등 각종 소스가 들어가 버렸습니다.

    잘 못 건드리신 것 이기 때문에 바로 잡으셔야 할 것 같네요.


    아무튼 현재 색인 문서 수도 보면 굉장히 많은 문서가 시간이 지나서 사라지고 있는 듯 하구요.

  • profile profile
    이 부분은 제가 몰라서 의뢰를 드려서라도 바로 잡아야겠네요 ㅠ
  • profile profile
    건드려 놓으신게 너무 많아서 ....
    아마 여기까지 봇 제한했다 하면서 주석도 넣으시고 하고 하셨을텐데 html 구조가 망가지거나 하는 부분에서 제한하고 하셔서 그럴겁니다. 제한하신 부분을 정확히 엘리먼트 단위로 체크해서 하셔야 하는데 어딘가 한군데 혹은 그 이상의 군데에서 실수를 하셔서 해당 부분이 제거되면서 html 문법에 어긋낫을 것 같구요.