라이믹스로 운영하는 사이트의 robots.txt 파일을 열어보니
User-agent: *
Crawl-Delay: 20
로 되어있습니다.
라이믹스 개발자님들이 만들어 놓으신 것으로 생각합니다.
robots.txt 의 기능에 대해 잘 모르는데 저 위의 상태로 그대로 사용해도 괜챦은지 궁금하여 문의를 드려봅니다.
| PHP | PHP 7.3 |
|---|---|
| CMS | Rhymix 2.x |
| PHP | PHP 7.3 |
|---|---|
| CMS | Rhymix 2.x |
라이믹스로 운영하는 사이트의 robots.txt 파일을 열어보니
User-agent: *
Crawl-Delay: 20
로 되어있습니다.
라이믹스 개발자님들이 만들어 놓으신 것으로 생각합니다.
robots.txt 의 기능에 대해 잘 모르는데 저 위의 상태로 그대로 사용해도 괜챦은지 궁금하여 문의를 드려봅니다.
라이믹스에는 robots.txt 파일이 포함되어 있지 않습니다.
즉, 지금 보고 계신 파일은 저희가 만들어 놓은 것이 아닙니다.
Crawl-delay 항목은 최근 대부분의 로봇들이 무시하는(...) 추세여서
사실상 아무 것도 설정되어 있지 않은 상태로 보이네요.