오늘의 TIL
Ajax
Ajax 크롤링 관련해서 api를 이용하는 부분을 찾아보고 적용했습니다.
크롤링을 적용함에 있어 header요소가 중요하다는 것을 알게 됐습니다.
브라우저가 아닌 파이썬 프로그램이 해당 json을 호출하는 것을 막아둔 사이트가 많고, 또한 해당 페이지를 요청하기 위해서는 특정 페이지가 보냈음을 확인하도록 되어있는 사이트들이 있습니다.
정상적인 수행이 되었을 경우의 Request Headers를 먼저 살펴보고,
referer나 api key와 같은 항목들을 헤더에 넣어서 request 요청을 보내야 정상적으로 동작하게 됩니다.
댓글남기기