xe나 라이믹스에서 네이버 색인이 page 단위로 읽는 문제가 있습니다. &page=1227 웹지기님 사이트보면 페이지 단위 크롤링이 상당히 적은데 robots.txt나 이외 조절할 수 있을까요? 색인된 문서의 80% 이상이 대부분 page로 색인되어있는 경우가 많습니다.
