크롤링 썸네일형 리스트형 Puppeteer 와 AWS lambda 로 서버리스 크롤링 구축(0) 특정 페이지를 이미지화 해서 저장해야 하는 이슈가 생겼다. 서버를 추가 할당 받아서 퍼피티어, 크로니움, API 서버 등등 해도 되나.. 왠지 서버를 추가해서 하기가 굉장히 싫다. 그래서 방법이 없을까 고민하던차에, AWS 람다로 처리 하면 어떨까 하고 , 서칭을 해보니 나름 방법이 없는건 아니었다. 허나 람다에 올릴수 있는 용량 (50M) 에 많이 좌절들을 하는것 같다. 아무래도 퍼피티어랑 크로니움에서 용량을 많이 잡아 먹는거 같다. 람다의 콜드스타트는 문제가 없으나, 저 용량에서 발목을 잡힐줄이야... 그래서 S3에 올려서, 크로니움 코어만, 등등 해서 아예 방법이 없는 것은 아닌거 같아서 서칭 및 자료 수집 중이다. Poc를 해보긴 하겠지만, 단순 토이프로젝트로 끝낼것도 아니고, 계속 운영(?)을 .. 더보기 이전 1 다음