기존 XE타운의 글을 검색하여 알아본 결과
크롤러 로그인 정보를 아래처럼 작성하는 듯하여
아래처럼 작성하였습니다
주소 - https://도메인/회원용게시판
로그인주소 - https://도메인/index.php?act=dispMemberLoginForm
방식 - POST
변수
user_id - 로그인 아이디
password - 로그인 비번
그리고 크롤링 실패가 뜨길래
이틀 정도 기다려봤는데 여전히 크롤링 실패라고 나오네요
보통 더 기간을 두고 기다려봐야 하나요?
아니면 입력한 정보가 문제가 있는 걸까요..
참고로 입력한 정보로 로그인 정상적으로 잘 됩니다
또한 사이트 robots.txt 내용은 아래와 같습니다
User-agent: *
Allow: /
dispMemberLoginForm 은 POST액션으로 들어가는곳이 아닙니다. (단지 로그인을 할 수 있는 페이지를 출력해줄 뿐입니다.)
실제로 POST요청을 남겨서 바로 로그인을 하는 것이라면
procMemberLogin 을 넣으시면됩니다.
액션값을 form 으로 전송하는 방식대로 요청할 수 있는 방법이 있는지 모르겠는데 그렇게할 수 있다면 그렇게 요청하시면 될 것 같은데요 ㅎㅎ
변수값에 추가할 수 있으면 act : procMemberLogin 을 추가하시면 될 것 같아요