며칠전 구글 서치 콘솔에 사이트를 등록하고 사이트맵도 제출했는데 계속 로봇텍스트 파일을 가져오지 못하고
있습니다. 서버에 로봇파일은 있고 구글 서치콘솔에서 robots.txt 테스터를 클릭하면 "현재 가져올 수 없는 robots.txt
파일이 있습니다 ... ... "란 창이 뜹니다.
호스팅서버 root에 로봇파일을 만들었고 코드는
User-agent: Googlebot
Allow:/
User-agent: Yeti
Allow:/
이런식으로 네이버와 구글봇 허용을 해 놓은 상태인데 파일 권한을 757 이나 777로 해도 계속 로봇파일을 가져올 수
없다고 하네요. 제가 로봇파일에 입력한 문구가 잘못된건가요? 아님 호스팅 업체에 문제인가요?
호스팅업체에 문의글을 올려도 하루지나야 답변이 오는지라 급한 마음에 타운에 sos 합니다.
구글봇 막으셨는데요.