질문/조언질답게시판
Extra Form
PHP PHP 7.3
CMS Rhymix 2.x

 

라이믹스로 운영하는 사이트의 robots.txt 파일을 열어보니 

 

User-agent: * 
Crawl-Delay: 20

 

로 되어있습니다. 

 

라이믹스 개발자님들이 만들어 놓으신 것으로 생각합니다. 

 

robots.txt 의 기능에 대해 잘 모르는데 저 위의 상태로 그대로 사용해도 괜챦은지 궁금하여 문의를 드려봅니다. 

  • profile

    라이믹스에는 robots.txt 파일이 포함되어 있지 않습니다.

    즉, 지금 보고 계신 파일은 저희가 만들어 놓은 것이 아닙니다.

     

    Crawl-delay 항목은 최근 대부분의 로봇들이 무시하는(...) 추세여서

    사실상 아무 것도 설정되어 있지 않은 상태로 보이네요.

  • profile
    robots.txt 파일은 검색봇이 우리사이트에 들어왔을때 이렇게 이렇게 해줘 라는 명령일 뿐입니다.

    이것이 라이믹스와 관계가 있지는 않습니다.

    각각 사이트마다 검색봇이 들어와서 봇이 해동할 수 있는 반경을 지정해주는 것으로, 각사이트마다 개별로 필요의 의해 생성하는 파일이라 생각하시면 됩니다.
  • profile
    잘 알았습니다. 아직 저희 사이트 방문 수나 트래픽은 거의 없는 것 같아 필요는 없을 것 같습니다. 토픽 게시판에서 로봇의 방문 트래픽이 엄청나다고 해서 문의 드렸는데 알려 주셔서 감사합니다.^^