안녕하세요.
날것 그대로인 초보입니다.
서버호스팅을 신청하는데
외국에서의 트레픽에 제한이 있으면 가격이 저렴하더군요.
막 워드프레스로 만들고 있고, 외국인 대상은 전혀 아니므로
전혀 문제가 없었습니다.
그런데 구글도 외국 트레픽이더군요
사이트가 구글에 노출되지 않으면 성장하기 힘들기 때문에
구글봇은 허용하려고 합니다.
(워드프레스로 만든 이유도 구글검색엔진 친화적 이라는 이야기를 들었기 때문입니다)
그래서 외국에서의 트레픽은 막으면서 구글봇은 허용해 주고 싶어서 찾아 봤습니다.
(구글이 이미지 몇개만 가져가도 트레픽 초과 날지도 몰라서)
.htaccss 파일에
RewriteCond %{HTTP_USER_AGENT} ^Googlebot [OR]
이렇게 적어주면 구글봇은 허용될것 같은데
문제는 이미지만 img src로 가져가는
이미지 무단 링크도 차단해야 한다는 것입니다.
이미지 무단 링크를 차단을 설정하면
네이버나 카카오, 줌등의 국내 봇들이 차단되는 것입니다.
이미지 무단 링크를 차단을 설정하면서
국내 검색엔진 봇들을 허용하고 싶은데
(구글봇, 빙봇도 포함해서)
어떻게 해야 할까요?
이미지 무단 링크 차단 -> 리퍼러 이용
검색봇 차단 -> 유저 에이전트 이용
질문주신 두가지가 서로 다른 값을 이용하여 접속을 차단하는것입니다. 그냥 둘다 동시 적용해두시면 됩니다.(이미지 외부링크 차단 적용후 검색봇 일부허용 적용)
https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers
참고로 구글 검색봇이 쓰는 유저 에이전트는 위 페이지에서 확인 가능합니다.