깔끔하지 못거나 생소한 단어로 검색이 되어져서 누군가 하고 에이전트를 봤는데 HeadlessChrome 로 잡히네요.
사람은 아닌거 같고 저희 사이트에 접속해서 뭔가 검색이 되는 주소로 단어를 넣고 검색을 했는데 HeadlessChrome 를 사용하는 경우는 어떤 경우인지 궁금해지네요.
| PHP | PHP 7.2 |
|---|---|
| CMS | XpressEngine |
-
-
검색엔진은 아닌거 같은데 어떤부류일까요? -
일반적인 검색엔진은 저런 거 안 씁니다. 누군가 개인이 의도적으로 조종하는 거예요.
-
일단 block.conf 의 에이전트 리스트에 Headless 를 추가해줬습니다.
-
제가 파이썬 크롤러 만들어서 써보면, 그것도 우회가 됩니다. -
네. 알고 있습니다. 에이전트 안가린 경우라도 차단하려는 것에서 다른 의도는 없습니다.
-
누근가 크롤링 하나보네요 -
별거 없는 사이튼데 ㅎ 걍 기사하고 구매정보에 이미 넷상에 올라오는 정보 ㅎ
외부 프로그램을 사용해서 크롬을 조종할 수 있도록 만들어 놓은 것입니다. 개발 및 테스트 용도로 만들어진 것이지만, 남의 사이트를 방문한다면 사람인 척 하는 크롤러일 뿐입니다. 일반적인 크롤러와 달리 JS도 실행할 수 있기 때문에, JS로 작동하는 부분까지 긁어가거나 JS를 통해 어떤 액션을 취하도록 할 수도 있습니다.