본문 바로가기

Puppeteer 와 AWS lambda 로 서버리스 크롤링 구축(0) 특정 페이지를 이미지화 해서 저장해야 하는 이슈가 생겼다. 서버를 추가 할당 받아서 퍼피티어, 크로니움, API 서버 등등 해도 되나.. 왠지 서버를 추가해서 하기가 굉장히 싫다. 그래서 방법이 없을까 고민하던차에, AWS 람다로 처리 하면 어떨까 하고 , 서칭을 해보니 나름 방법이 없는건 아니었다. 허나 람다에 올릴수 있는 용량 (50M) 에 많이 좌절들을 하는것 같다. 아무래도 퍼피티어랑 크로니움에서 용량을 많이 잡아 먹는거 같다. 람다의 콜드스타트는 문제가 없으나, 저 용량에서 발목을 잡힐줄이야... 그래서 S3에 올려서, 크로니움 코어만, 등등 해서 아예 방법이 없는 것은 아닌거 같아서 서칭 및 자료 수집 중이다. Poc를 해보긴 하겠지만, 단순 토이프로젝트로 끝낼것도 아니고, 계속 운영(?)을 .. 더보기
2022년 주식정리 2022년 주식은 현재까지 기준으로는 폭락의 기간이다. 현재 나의 포트폴리오에는 테슬라, 아마존, 디지털터빈, 하일리온, 삼슬라, 등등 2021년에서 넘어오면서, 세금문제도 있고 해서, 그동안 손해보고 있던 주식을 대량 손절해서, 연 시작시점에는 모두 수익으로 해놓았건만,, 1월부터 너무 밑으로 내리는중 추가 현금이 있으면, 추매도 하겠것만,, 현재는 묶인 돈들 밖에 없어 발만 동동 .. 삼슬라는 빨리 추가 자금을 투입해서, 빠져나오고, 많이 급감되어 있는, 팔렌티어, 카누, 리비안, 루시드, 페이팔, 스퀘어 등등 지금은 안 가지고 있지만 한번씩 나에게 수익을 줬던 주식들을 다시 검토를 해봐야 겠다. 더보기
이력서 업데이트 오랜기간(?)만에 이력서를 업데이트 하려고 하니.. 먼가 정리해야 할것도, 기억도 가물가물 한게... 그동안 나의 업무 기록들을 정리를 안한것 같구먼. 링크드인도 그렇고, 지금 나의 이력서도 그렇고. 금주 주말은 이력서 정리를 해봐야 겠다 더보기

반응형