라이믹스로 운영하는 사이트의 robots.txt 파일을 열어보니
User-agent: *
Crawl-Delay: 20
로 되어있습니다.
라이믹스 개발자님들이 만들어 놓으신 것으로 생각합니다.
robots.txt 의 기능에 대해 잘 모르는데 저 위의 상태로 그대로 사용해도 괜챦은지 궁금하여 문의를 드려봅니다.
| PHP | PHP 7.3 |
|---|---|
| CMS | Rhymix 2.x |
-
-
robots.txt 파일은 검색봇이 우리사이트에 들어왔을때 이렇게 이렇게 해줘 라는 명령일 뿐입니다.
이것이 라이믹스와 관계가 있지는 않습니다.
각각 사이트마다 검색봇이 들어와서 봇이 해동할 수 있는 반경을 지정해주는 것으로, 각사이트마다 개별로 필요의 의해 생성하는 파일이라 생각하시면 됩니다. -
잘 알았습니다. 아직 저희 사이트 방문 수나 트래픽은 거의 없는 것 같아 필요는 없을 것 같습니다. 토픽 게시판에서 로봇의 방문 트래픽이 엄청나다고 해서 문의 드렸는데 알려 주셔서 감사합니다.^^
라이믹스에는 robots.txt 파일이 포함되어 있지 않습니다.
즉, 지금 보고 계신 파일은 저희가 만들어 놓은 것이 아닙니다.
Crawl-delay 항목은 최근 대부분의 로봇들이 무시하는(...) 추세여서
사실상 아무 것도 설정되어 있지 않은 상태로 보이네요.