네이버 카페처럼 검색 봇들만 웹사이트에서 크롤링이 되고,

실제 사람이 웹브라우저를 통해서 웹사이트에 글을 보려면 로그인 해야지 볼 수 있도록 하려면 어느부분을 손대야 할까요?

 

SEO는 살리고 웹사이트는 회원가입하고 로그인 해야지 볼 수 있도록 하기를 원합니다.

혹시 이런 부분에 대해서 이미 구현하셨거나 생각해보신분들 계시나요?

  • profile
    로그인 강제하는 애드온을 사용하시되 애드온 상단에 크롤러는 리턴시키는 코드를 한줄 넣으면 되는데 크롤러가 이를 이해 하지 못한다면 낭패... 저는 겁나서 이런거 적용 못하겠더라구요.
  • profile ?
    특정 게시판만 로그인 한 사람만 보도록 하려고 하는데, 그럼 SEO에 악영향이 발생 할 수도 있어서 우리 귀요미 검색 봇들은 들어오면 볼 수 있게 하려고 했는데, 크롤러한테 리턴을 시키는 코드가 따로 있나봐요?
  • ? profile
    로그인해! 같은 애드온 파일 상단에 if(isCrawler()) return false; 이렇게 넣으면 아마도.....
  • profile
    특정 사람들에게만 공개된 문서를 크롤링되도록 한다면 검색에서 일부 보이지 않나요??

    네이버 카페 검색하듯이 검색으로는 들어오지만 다른 글을 읽기위해서 로그인을 강제로 시키는 그런 기능을 원하시는건가요?
  • profile ?
    네이버 카페랑 비슷한 기능인데 똑같이 원하지는 않고, 단지 제가 특정 게시판은 회원님들이 로그인을 하거나, 일정 레벨이 되어야지 볼 수 있도록 제한을 걸고 싶습니다.

    하지만 그렇게 로그인을 해야지 글을 읽을 수 있으면, 귀여운 크롤링 검색 봇이 제 글을 못 읽어서 화를 낼까봐 걱정입니다.

    그래서 크롤링 검색 봇으로 들어오는 것에는 로그인이나 레벨 같은 조건이 성립 안되어도 글을 볼 수 있게 하고, 사람이 웹브라우저를 통해서 들어오면 그것은 "로그인이나 특정 레벨이 되서야합니다." 라고 하고 싶습니다.