크롤러 / 스크래퍼 아키텍처 및 도구 선택 가이드

import os
import sys
import logging
from pathlib import Path
from playwright.sync_api import sync_playwright
 
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger("PlaywrightCrawler")
 
# 영구 저장소 디렉터리
OUTPUT_DIR = Path("/app/data/screenshots")
OUTPUT_DIR.mkdir(parents=True, exist_ok=True)
 
def crawl_dynamic_page(url: str):
    logger.info(f"Playwright 브라우저 가동 시작: {url}")
    with sync_playwright() as p:
        # 1. 헤드리스 Chromium 런칭
        browser = p.chromium.launch(
            headless=True,
            args=[
                "--no-sandbox",
                "--disable-dev-shm-usage",  # 메모리 부족 방지
                "--disable-gpu"
            ]
        )
        
        # 2. 독립된 브라우저 컨텍스트 생성 (캐시/쿠키 격리)
        context = browser.new_context(
            viewport={"width": 1920, "height": 1080},
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
        )
        
        page = context.new_page()
        try:
            # 3. 네트워크 레벨 이미지/폰트 차단 (메모리와 대역폭 80% 절감)
            # 스크린샷이 필요한 경우 route 차단을 해제하세요
            # page.route("**/*", lambda route: route.abort() if route.request.resource_type in ["image", "media"] else route.continue_())
 
            # 4. 페이지 이동 (DOM 렌더링 대기)
            page.goto(url, wait_until="domcontentloaded", timeout=30000)
            
            # 특정 데이터 셀렉터가 뜰 때까지 대기
            page.wait_for_selector("body", timeout=10000)
            
            # 페이지 타이틀 및 본문 텍스트 추출
            title = page.title()
            logger.info(f"수집 성공: 페이지 제목 = {title}")
            
            # 한글 스크린샷 캡처 (Noto Sans CJK 폰트 적용)
            screenshot_path = OUTPUT_DIR / "sample_capture.png"
            page.screenshot(path=str(screenshot_path), full_page=False)
            logger.info(f"스크린샷 저장 완료: {screenshot_path}")
 
        except Exception as e:
            logger.error(f"수집 실패: {e}")
            raise
        finally:
            # 5. [필수] 컨텍스트 및 브라우저 명시적 해제 (메모리 누수 방지)
            context.close()
            browser.close()
            logger.info("Chromium 프로세스가 안전하게 종료되었습니다.")
 
if __name__ == "__main__":
    crawl_dynamic_page("https://news.naver.com")