403 차단 우회와 웹 방화벽 봇 탐지 회피 전략

playwright>=1.43.0
playwright-stealth>=1.0.6

from playwright.sync_api import sync_playwright
from playwright_stealth import stealth_sync
 
with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)
    
    # 일반 크롬 브라우저와 동일한 설정으로 컨텍스트 생성
    context = browser.new_context(
        viewport={"width": 1920, "height": 1080},
        user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
        locale="ko-KR",
        timezone_id="Asia/Seoul"
    )
    
    page = context.new_page()
    
    # [핵심] stealth 모듈 적용: navigator.webdriver 숨김, WebGL/플러그인 위장
    stealth_sync(page)
    
    # 봇 탐지 테스트 사이트 접속 검증
    page.goto("https://bot.sannysoft.com", timeout=30000)
    print("스텔스 모드 적용 완료. WebDriver 플래그가 완벽히 숨겨졌습니다.")
    
    context.close()
    browser.close()

import time
import random
import logging
 
logger = logging.getLogger("Delay")
 
def human_like_delay(mean: float = 4.0, std_dev: float = 1.2, min_delay: float = 2.0):
    """
    평균 4.0초, 표준편차 1.2초의 자연스러운 가변 지연 시간 생성
    (실제 지연: 2.1초 ~ 6.5초 사이로 자연스럽게 분산됨)
    """
    delay = random.gauss(mean, std_dev)
    delay = max(min_delay, delay)  # 최소 대기 시간 보장
    
    logger.debug(f"자연스러운 인간형 딜레이 적용: {delay:.2f}초 대기")
    time.sleep(delay)

[ 셀렉터 설계 3대 우선순위 ]
1순위 (가장 안전): <script type="application/ld+json"> 구조화 데이터 (디자인이 바뀌어도 유지)
2순위 (안전):      data-testid, data-product-id, data-price 등 의미론적 속성
3순위 (주의 필요): 시각적 CSS 클래스 (.product-title, .price-now)
비추천 (절대 금지): /html/body/div[3]/div[2]/span (배너 하나만 추가되어도 파싱 에러)

import json
from bs4 import BeautifulSoup
 
def extract_product_data(html_content: str):
    soup = BeautifulSoup(html_content, "html.parser")
    # ld+json 스크립트 태그 탐색
    for script in soup.find_all("script", type="application/ld+json"):
        try:
            data = json.loads(script.string)
            if data.get("@type") in ["Product", "Offer"]:
                return {
                    "name": data.get("name"),
                    "price": data.get("offers", {}).get("price") or data.get("price"),
                    "in_stock": "InStock" in str(data.get("offers", {}).get("availability", ""))
                }
        except (json.JSONDecodeError, TypeError):
            continue
    return None

import logging
from playwright.sync_api import sync_playwright
from playwright_stealth import stealth_sync
from human_delay import human_like_delay
 
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger("StealthCrawler")
 
def crawl_safe(target_url: str):
    with sync_playwright() as p:
        browser = p.chromium.launch(
            headless=True,
            args=[
                "--no-sandbox",
                "--disable-dev-shm-usage",
                "--disable-blink-features=AutomationControlled", # 자동화 감지 무력화
            ]
        )
 
        context = browser.new_context(
            viewport={"width": 1920, "height": 1080},
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
        )
 
        page = context.new_page()
        # 스텔스 플래그 주입
        stealth_sync(page)
 
        try:
            logger.info(f"페이지 접근 시도: {target_url}")
            page.goto(target_url, wait_until="domcontentloaded", timeout=30000)
 
            # 자연스러운 인간형 체류 딜레이
            human_like_delay(mean=3.5, std_dev=1.0)
 
            # 제목 확인
            title = page.title()
            logger.info(f"접근 성공: {title}")
 
        except Exception as e:
            logger.error(f"접근 차단 또는 오류 발생: {e}")
        finally:
            context.close()
            browser.close()
 
if __name__ == "__main__":
    crawl_safe("https://example.com")