질문/조언질답게시판
Extra Form

iscrawler 구문이 XE에 지원되어서

 

봇들이 스킨의 특정부분을 읽지 못하도록 처리해줬는데요:)

 

이상하게 네이버는 해당 문법을 무시하는지.. 그대로 퍼가는 현상이있떠라구요..

 

Yeti 나 NaverBot의 Agent가 정상적으로 iscrwler에 읽혀지고 있는게 맞는건가요

 

 

아니면 네이버가 문제인것일까요..

 

네이버봇도 Agent는 아무래도 NaverBot Yeti로 퍼갈 것 같은데 먹히질 않는거보면

 

xe의 iscrwler에 네이버봇의 agent가 잘못되어있는걸까요!

  • profile

    'bot', 'spider', 'spyder', 'crawl', 'http://', 'google', 'yahoo', 'slurp', 'yeti', 'daum', 'teoma', 'fish', 'hanrss', 'facebook', 'yandex', 'infoseek', 'askjeeves', 'stackrambler' 에 해당되는 봇을 iscrawler에 정의하고 있습니다.

    요즘은 Yeti만 사용해서 충분하게 적용될 거 같습니다.

  • profile
    퍼간곳이 어디냐에 따라 다를 겁니다.
    파싱해서 퍼간 순간이 있고
    rss 정보를 긁어가서 게시하는 순간이 있습니다. rss 정보를 수집해 가는 것은 아마 예상하는 결과가 나오지 않을 겁니다.

서버에 요청 중입니다. 잠시만 기다려 주십시오...