안녕하세요.
중복 게시글 문제로 인해 robots.txt에 disallow 구문을 추가하고자 합니다.
지금 주로 발생하는 문제가 아래와 같은 경우인데요..
1) https://example.com/page/7/?s
2) https://example.com/page/6
3) https://example.com/category/example/page/1/
page가 들어가거나 ?s가 들어가는 경로는 인덱스가 안되게 하고 싶습니다.
그래서 아래와 같이 작성을 했는데요.. 이렇게 작성하는 하는게 맞는건가요?
정상적으로 작성한건지 알고싶습니다. 감사합니다.
Disallow: /?s=
Disallow: /*/page/*
Disallow: */page/*