안녕하세요.
Nginx의 리버스 프록시를 이용해 blog.exapmle.com을 example.com/blog로 라우팅 했습니다.
작동은 정상적으로 잘 됩니다만.. 만약 이렇게 라우팅하면 봇은 blog.example.com과 example.com/blog를
각각 따로 크롤링 되는게 맞나요?
그러면 중복 컨텐츠를 방지하기 위해 blog.example.com의 로봇에 User-agent: * Disallow: / 를 입력해둬야 되는건지
아니면 자동으로 blog.example.com은 example.com/blog로 봇이 인식을 하게 되는건지 궁금합니다
감사합니다
SEO에 관심이 있으시다면 리버스 프록시가 아니라 301 redirect로 처리하셔야 합니다.
blog.example.com/aaa에 접속했을 때 example.com/blog/aaa와 동일한 콘텐츠가 나와서는 안됩니다. 각각 따로 크롤링하니까 중복 콘텐츠로 인식합니다.
blog.example.com/aaa로 접속하면 301 코드와 Location 헤더를 반환하여, 브라우저 주소창이 example.com/blog/aaa로 바뀌면서 새 주소의 콘텐츠를 불러오도록 해야 합니다. 기존 주소는 새 주소로 포워딩하는 역할 외에는 아무 것도 하지 않게 되는 것입니다.
이렇게 하면 기존 주소의 검색 스코어를 새 주소가 그대로 계승하게 되고, 중복 페널티를 받지도 않고, 주소창의 상태가 blog.example.com인 상태에서 페이지가 뜰 일이 아예 없어질 테니 robots.txt를 걱정할 필요도 없게 됩니다.