검색 봇들이 무엇을 색인하나 살펴보다가 2가지 특이한 문자열 접근이 많아서 질문드립니다.
1) 쿼리 문자열에 아래처럼 '?t=' 로 시작하고 뒤에 숫자만 다른 접근이 많이 있습니다.
검색을 해도 나오지 않아서 궁금합니다. 이런 접근도 robots.txt 에서 차단해도 괜찮은 건가요?
?t=1730465793
이러한 접근의 경우 모든 경로는 아래처럼 일반문서 경로가 아닌 것이 대부분입니다.
/files/cache/assets ~~
/modules/board/skins/sketchbook ~~
/common/js/plugins ~~
2) ?act=copytrack 의 문자열로 접근하는 봇들도 종종 있는데,
이렇게 접근하는 봇도 무슨 용도인지도 모르겠고, 함께 차단해도 괜찮은 건가요?
2. 대부분 구형 워드프레스 혹은 cms들을 찾는 목적으로 온갖곳에 리퀘스트를 뿌리는 넷봇들입니다. 어느 경로로 검색하는지 면밀히 살펴보시고 공통점을 찾아 차단하시면 됩니다.