iscrawler 구문이 XE에 지원되어서

 

봇들이 스킨의 특정부분을 읽지 못하도록 처리해줬는데요:)

 

이상하게 네이버는 해당 문법을 무시하는지.. 그대로 퍼가는 현상이있떠라구요..

 

Yeti 나 NaverBot의 Agent가 정상적으로 iscrwler에 읽혀지고 있는게 맞는건가요

 

 

아니면 네이버가 문제인것일까요..

 

네이버봇도 Agent는 아무래도 NaverBot Yeti로 퍼갈 것 같은데 먹히질 않는거보면

 

xe의 iscrwler에 네이버봇의 agent가 잘못되어있는걸까요!

  • profile

    'bot', 'spider', 'spyder', 'crawl', 'http://', 'google', 'yahoo', 'slurp', 'yeti', 'daum', 'teoma', 'fish', 'hanrss', 'facebook', 'yandex', 'infoseek', 'askjeeves', 'stackrambler' 에 해당되는 봇을 iscrawler에 정의하고 있습니다.

    요즘은 Yeti만 사용해서 충분하게 적용될 거 같습니다.

  • profile
    퍼간곳이 어디냐에 따라 다를 겁니다.
    파싱해서 퍼간 순간이 있고
    rss 정보를 긁어가서 게시하는 순간이 있습니다. rss 정보를 수집해 가는 것은 아마 예상하는 결과가 나오지 않을 겁니다.