iscrawler 구문이 XE에 지원되어서
봇들이 스킨의 특정부분을 읽지 못하도록 처리해줬는데요:)
이상하게 네이버는 해당 문법을 무시하는지.. 그대로 퍼가는 현상이있떠라구요..
Yeti 나 NaverBot의 Agent가 정상적으로 iscrwler에 읽혀지고 있는게 맞는건가요
아니면 네이버가 문제인것일까요..
네이버봇도 Agent는 아무래도 NaverBot Yeti로 퍼갈 것 같은데 먹히질 않는거보면
xe의 iscrwler에 네이버봇의 agent가 잘못되어있는걸까요!
'bot', 'spider', 'spyder', 'crawl', 'http://', 'google', 'yahoo', 'slurp', 'yeti', 'daum', 'teoma', 'fish', 'hanrss', 'facebook', 'yandex', 'infoseek', 'askjeeves', 'stackrambler' 에 해당되는 봇을 iscrawler에 정의하고 있습니다.
요즘은 Yeti만 사용해서 충분하게 적용될 거 같습니다.