Extra Form
PHP PHP 7.4
CMS WordPress

안녕하세요.

 

Nginx의 리버스 프록시를 이용해 blog.exapmle.com을 example.com/blog로 라우팅 했습니다.

 

작동은 정상적으로 잘 됩니다만.. 만약 이렇게 라우팅하면 봇은 blog.example.com과 example.com/blog를

 

각각 따로 크롤링 되는게 맞나요?

 

그러면 중복 컨텐츠를 방지하기 위해 blog.example.com의 로봇에 User-agent: * Disallow: / 를 입력해둬야 되는건지

 

아니면 자동으로 blog.example.com은 example.com/blog로 봇이 인식을 하게 되는건지 궁금합니다

 

감사합니다

  • profile

    SEO에 관심이 있으시다면 리버스 프록시가 아니라 301 redirect로 처리하셔야 합니다.

     

    blog.example.com/aaa에 접속했을 때 example.com/blog/aaa와 동일한 콘텐츠가 나와서는 안됩니다. 각각 따로 크롤링하니까 중복 콘텐츠로 인식합니다.

     

    blog.example.com/aaa로 접속하면 301 코드와 Location 헤더를 반환하여, 브라우저 주소창이 example.com/blog/aaa로 바뀌면서 새 주소의 콘텐츠를 불러오도록 해야 합니다. 기존 주소는 새 주소로 포워딩하는 역할 외에는 아무 것도 하지 않게 되는 것입니다.

     

    이렇게 하면 기존 주소의 검색 스코어를 새 주소가 그대로 계승하게 되고, 중복 페널티를 받지도 않고, 주소창의 상태가 blog.example.com인 상태에서 페이지가 뜰 일이 아예 없어질 테니 robots.txt를 걱정할 필요도 없게 됩니다.

  • ?
    안녕하세요 기진곰님! 답변 정말 감사합니다.

    현재 상황은 기진곰님께서 예측하신 것과 정확히 동일한 상황입니다. SEO를 위해 작업 중이며, 동일한 콘텐츠가 표시됩니다.

    그런데 리버스 프록시 없이 리다이렉트만으로 표시해야되는게 이해가 잘 안갑니다.

    example.com/blog는 실제 폴더가 없어서 blog.example.com의 서버블록에서 example.com/blog로 리다이렉트만 걸면 404 에러가 나옵니다.

    반면 이 상태에서 example.com 서버블록에서 리버스 프록시로 blog.exaxmple.com을 라우팅 하면 리다이렉트 루프에 걸리더군요..

    제가 뭔가 이해를 잘못하고 있는것 같습니다만.. 어디가 문제인지 잘 모르겠습니다 ㅠ ㅠ
  • ? profile

    1. 불특정 다수가 아닌 특정 댓글에 추가질문을 하실 때는 대댓글을 달아주셔야 알림이 옵니다.

    2. 어느 쪽을 어느 쪽으로 리다이렉트하느냐는 중요하지 않습니다. 두 가지 주소 중 하나가 "오피셜"이고, 나머지 하나는 오피셜 쪽으로 리다이렉트된다면 충분합니다. 질문글 내용을 보고 example.com/blog가 오피셜이고 blog.example.com은 중복인 것으로 생각했는데, 만약 반대라면 반대로 처리하시면 됩니다.

    3. 워드프레스는 설정된 주소 이외의 주소로 접근하면 무조건 리다이렉트 시켜버립니다. 서버 설정과 무관하게 워드프레스 자체의 기능이니, 이것과 충돌하지 않도록 신경쓰셔야 합니다. 가능하면 워드프레스에서 생각하는 자기 주소 쪽으로 모두 통일시켜 주는 것이 좋습니다.

    4. 어떤 경우라도 실제로 사이트가 설치되어 있는 주소를 "오피셜"로 삼는 것이 가장 자연스럽습니다. 억지로 다른 주소인 것처럼 눈속임하려고 하면 불안정한 상황을 유발할 뿐입니다. 주소를 바꾸고 싶으시면 그냥 사이트를 통째로 퍼서 원하는 위치로 옮기고, 기존 주소에서 새 주소로 301 리다이렉트 처리하세요.^^

  • profile ?

    기진곰님 안녕하세요 !

    그렇군요. 워드프레스 내에도 그런 기능이 있는지 몰랐습니다.

    그냥 정석대로 하면 아무 문제도 없는걸, 기진곰님 말씀처럼 눈속임하려하니

     

    이게 서버 문제인지, DNS문제인지, 워드프레스 문제인지, CDN의 문제인지.. 원인을 찾고 해결하는데 시간만 허비하게 되네요 ㅠ ㅠ

    워드프레스 자체 기능이 원일일 수 있으니, 조금만 더 찾아보고 안되는 것 같으면 그냥 포기하도록 하겠습니다.

    늘 알려주셔서 정말 감사합니다!