저희사이트가 네이버에서 사이트주소로 검색을 해 보면 MID가 포함되지 않은 문서로 보여지고 있어 질문을 했는데요.
이후 제가 분석을 해 보니 흥미로운 것을 발견했습니다.
오늘 XE로 운영되는 회원분의 사이트도 함께 분석을 해 보았습니다. 마찬가지로 저희 사이트와 같이 MID가 빠진 채로 보여지고 있었습니다.
그런데 이것이 네이버 봇에 노출을 위해 색인된 결과가 아니란 것을 발견하게 되었습니다.
우연히 저희 사이트와 여기 회원분의 사이트에서 초극소수의 게시물이 MID가 포함된 것을 발견하게 되었습니다.
저희 사이트도 그렇고 위 회원분의 사이트도 그렇고 MID가 포함된 경우는 "저장된 페이지" 라는 것이 하나 더 있는 것을 발견하게 되었습니다.
그래서 저 저장된 페이지가 무엇인지 보기 위해 눌러보면
이렇게 네이버 봇에 의해 수집해서 저장까지 된 페이지라고 상단에 이렇게 설명을 해주면서 실제 저장되었던 시점의 페이지 모습을 보여줍니다.
결국 이렇게 수집,저장된 것만 키워드로 매칭되는 것에 실제 노출되는 곳에 노출이 되는 것으로 추측이 가능합니다.
XE공홈 것을 캡쳐하게 된 이유는 XE공홈은 전체 게시물에 "저장된페이지" 가 달려있습니다. 전 게시물 다 노출을 위한 저장까지 되어 있다고 보면 맞을 것 같습니다.
그럼 많은 XE와 라이믹스와 같은 CMS로 만들어진 사이트들은 ??? 저장된페이지가 안달려있습니다. XE타운이요? 마찬가지입니다. MID가 달려있긴해도 저장된페이지가 없습니다. 결국 노출을 위한 네이버 서버 어떤 곳에 저장된 문서가 아니라는 이야기죠.
그래서 실제 XE타운이나 저희 사이트나 네이버를 통한 검색유입이 없습니다.
이 문제는 네이버에서 선별적으로 노출을 위한 로직을 사용하고 있어 저희가 어떻게 할 수는 없지만 이렇게 눈으로 확인할 수 있는 확연한 차이를 볼 수 있게 한다는게 놀랍군요. 차별을 쉽게 확인할 수 있으니까요..
https://search.naver.com/search.naver?where=webkr&sm=tab_srt&query=site%3Ahttps%3A%2F%2Fwww.xetown.com&r=&filetype=none&option=off&fd=2&st=d&docid=0&dfrom=&dto=&f=&srcharea=all&dtype=all&sbni=&domain=&fqr=0&research_url=&sbni_rootid=&nso=so%3Add%2Ca%3Aall%2Cp%3Aall&ie=utf8&mson=0
https://search.naver.com/search.naver?where=webkr&sm=tab_srt&query=site%3Ahttps%3A%2F%2Fwww.xpressengine.com&r=&filetype=none&option=off&fd=2&st=d&docid=0&dfrom=&dto=&f=&srcharea=all&dtype=all&sbni=&domain=&fqr=-1&research_url=&sbni_rootid=&nso=so%3Add%2Ca%3Aall%2Cp%3Aall&ie=utf8&mson=0
사실 예전에 저희 사이트도 네이버노출이 왠만큼 되던 시절에는 "저장된페이지"가 달려있었습니다.
위 내용으로 분석해 보니 "저장된페이지"가 달리지 않은 문서들은 실제 문서들을 크롤링 한게 아니라는 결론이 나왔습니다. 실제 노출이 아닌 뭔가 형식적인 면피용으로 사이트주소로 검색했을때 뭔가 보여줘야 하니 이때 필요해서 긁어간 것은 각 사이트의 rss를 긁어 간 것 같습니다.
https://xe1.xpressengine.com/rss
XE의 모든 사이트들는 rss에는 여전히 MID가 생략되어 있습니다.
---> 공홈의 주소가 MID가 붙어서 노출되는 것은 형식적으로 rss를 긁어간게 아닌 정식으로 저장하기 위한 문서 자체를 크롤링해가서 모든 문서주소에 MID가 포함되며 "저장된페이지" 가 함께 태그되어 있습니다.
*진짜 질문*
제 분석으로는 이제 rss 발행 주소에 MID 주소가 검색노출에 큰 의미는 없는 것으로 확인 되었지만 그래도 MID가 포함되어 보여질 수 있도록 rss 발행때 MID가 포함된 주소로 발행되게 고치고 싶습니다.
