크롤러 / 스크래퍼

동적 렌더링 vs 정적 수집 도구 매트릭스, DashCloud 헤드리스 Chromium 런타임 특장점과 장기 가동 파이프라인 설계.

장시간 가동 시 Chromium 브라우저의 DOM/JS 힙 메모리 누수 원인 분석, 컨텍스트 격리, 리소스 차단과 자동 재활용 패턴.

2단계 인증 사이트의 로그인 세션 보존, Playwright storage_state 활용, 만료 자동 감지 및 갱신 파이프라인.

Cloudflare 및 웹 방화벽의 봇 식별 원리, playwright-stealth 연동, 가변 지연 시간(랜덤 지터) 및 변경에 강한 셀렉터 설계.

데이터센터 IP 차단 우회, Bright Data·Webshare 주거용 회전 프록시 연동, 환경변수 설정 및 비용 최적화 전략.

가격 변동·품절 재고 실시간 차분 감지, SQLite 시계열 누적, 알림 스팸 방지 및 대시보드 엑셀/CSV 다운로드 파이프라인.