웹사이트 긁어오기 - Selenium

이전글([현재진행형] 웹사이트 긁어오기)에서 Selenium 을 이용해 Headless Browser 로 쉽게 웹페이지를 제어할 수 있는 것을 구현해봤습니다. 그리고 cron 을 이용해 주기적으로 크롤링을 해보았습니다.

 

결론적으로, Selenium 은 이런 용도로는 적합하지 않은게 아닌가 생각됩니다. 한 번의 테스트를 위해 사용할 때에는 문제가 없으나, 서버에서 cron 으로 주기적으로 실행했더니 네트워크 접속이 안되는 문제가 발생하였습니다. 원인은 정확하게 파악하지 못했지만, reboot 후 정상적으로 돌아왔고 cron 으로 재시작을 주기적으로 해줘도 문제가 해결되겠지만 많은 수의 도메인을 크롤링 하게 되면 분명 안정성 문제가 대두될 것 같아서 포기하게 되었습니다.

 

그래서, selenium 으로 값을 가져오던 사이트도 어떻게든 ajax 호출하는 구조를 확인하여 jsoup 로 호출하여 값을 분석하여 가져올 수 있도록 수정하였습니다. 매우 아쉬운 상황이었습니다.