크롤링 질문이요!

크롤링한 이미지 url을 spring 서버에 저장하고 싶은데 다른 링크는 잘작동 하는데 특정 url만 서버에서 무한로딩을 하는데 이유를 모르겠습니다.
이미지 url을 다운하지 못하도록 막아놓은걸까요??

 

 

  • profile

    서버에서 어떤 내용을 돌려주는건지는 체크해 보셨나요? 크롤링시 유저 에이전트가 비정상적이거나(curl 등) 리퍼러가 빠진 요청은 거부하는 사이트도 많습니다.(정상적인 요청이라면 리퍼러에 이미지가 삽입된 글 주소가 들어갑니다)

  • profile ?
    예를들어서 https://assets.givenchy.com/m/7cc520245cbd68a1/High_Resolution_JPG-BB50PYB1GC457-02-03.jpg?imformat=generic&imwidth=2000 2000w 이런이미지를 file로 받아서 하는건데 잘 모르겠어요...
  • ? profile
    요청을 보낼 때 브라우저에서 보내는 요청과 서버에서 보내는 요청을 비교해서 없거나 다른 값이 있다면 변경해가며 스스로 알아내셔야 합니다.
  • profile ?
    넵 감사합니다 파일을 생성할 때 무한로딩을 하네요...