node.js

Node.js와 TypeScript, Selenium으로 웹 스크래퍼 만들기 (1) 준비와 설계

최근에 사내 프로젝트에 필요한 데이터를 주기적으로 수집하는 웹 스크래퍼를 개발했습니다. 클라이언트가 API를 별도로 제공하지 않아서 클라이언트가 제공하는 웹 사이트로부터 실시간으로 추가되는 데이터를 수집하여 사내 DB의 데이터를 업데이트해야 하는 상황이었는데요. DB의 데이터를 업데이트하는 API를 통해 전달되는 데이터 형태는 동일하지만 클라이언트 웹 사이트가 10곳 이상 추가될 예정이었습니다. 그래서 구조 설계를 할 때 언제든지 새롭게 추가된 사이트에 대한 코드를 작성하여 기능을 추가하더라도 일관된 구조로 개발하고 유지할 수 있게 하는 것을 가장 중요하게 생각했어요. 현재는 개발 및 배포를 마쳐 모니터링을 진행하고 있는데 지금까지의 개발 과정을 되짚어보려고 합니다. 이번에는 웹 스크래퍼 개발 전 준비 ..