Extra Form
PHP PHP 5.5
CMS XpressEngine

robots.txt 에 구글 검색 로봇을 차단하고

특정 mid 값을 차단을 했는데도 계속 구글에 검색이 되는데

검색이 안되게 할려면 뭔가 확인해야 할 부분이 있을가요?

 

1.robots.txt

 

User-agent: GooglebotDisallow: /
Disallow: /*.xls /
Disallow:/request/
Disallow:/online01/

 

2. 구글웹마스터 도구에서 해당 사이트 삭제

 

3. 홈디렉토리에 구글 사이트 확인용 파일 삭제

 

----------------------------------------------------------

 

이렇게 했는데도 계속 구글 검색엔진에 노출이 됩니다.

robots.txt에서 구글 검색엔진을 차단했으면 안긁어 가야 하는게 맞지 않는지...

 

혹시 뭔가 빠트린게 있을까요?

  • profile
    User-agent: GooglebotDisallow: / ???????????
    구글봇 이름이 이상한데요 ?
  • profile ?
    인터넷 검색의 폐해네요..
    좀더 찾아보고 적용시켰어야 했는데..
  • ? profile
    Disallow: /

    루트에서 다 막았으면 아래 디렉토리 별로 막는건 필요없어 보입니다.
  • profile
    User-agent: Googlebot
    Disallow: /

    이렇게 되어야 할것 같습니다.
  • profile ?
    답변 감사합니다.
  • profile

    User-agent: Googlebot
    Disallow: /
    Disallow: /*.xls$
    Disallow:/request
    Disallow:/online01
    Disallow:/*=request

     

    robots.txt를 무시하는 봇들이 하도 많아서 

    좌우간 기본적으로 path를 차단하는 것이라서

    Disallow:/request 하면

    {Docuement_roo}/request 폴더는 차단되지만

    index.php?mid=request 로 들어오는 것은 차단하지 못합니다.

    Disallow:/*=request 하면 일부 봇에서는 차단이 되지만 무시한 놈들이 하도 많아서...

  • profile ?
    디테일한 답변 감사합니다.