파이썬 웹 크롤러를 24시간 무료로 자동 실행하는 방법 (PC 끄고 매일 정기 수집하기)

# scraper.py
import os
import time
import logging
import asyncio
import httpx
from playwright.async_api import async_playwright
 
logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
logger = logging.getLogger(__name__)
 
# 환경변수 설정
TELEGRAM_BOT_TOKEN = os.getenv("TELEGRAM_BOT_TOKEN")
TELEGRAM_CHAT_ID = os.getenv("TELEGRAM_CHAT_ID")
TARGET_URL = os.getenv("TARGET_URL", "https://example.com/product/12345")
CHECK_INTERVAL_SECONDS = int(os.getenv("CHECK_INTERVAL", "600"))  # 기본 10분 주기
 
async def send_telegram_alert(message: str):
    """텔레그램 봇으로 알림 메시지 발송"""
    if not TELEGRAM_BOT_TOKEN or not TELEGRAM_CHAT_ID:
        logger.warning("텔레그램 토큰 또는 Chat ID가 없어 콘솔에만 출력합니다: %s", message)
        return
    url = f"https://api.telegram.org/bot{TELEGRAM_BOT_TOKEN}/sendMessage"
    payload = {"chat_id": TELEGRAM_CHAT_ID, "text": message, "parse_mode": "HTML"}
    async with httpx.AsyncClient(timeout=10.0) as client:
        try:
            await client.post(url, json=payload)
        except Exception as e:
            logger.error("텔레그램 발송 실패: %s", e)
 
async def scrape_product():
    """헤드리스 브라우저로 대상 페이지 방문 및 가격 수집"""
    logger.info("크롤링 시작: %s", TARGET_URL)
    
    async with async_playwright() as p:
        # DashCloud에 내장된 Chromium을 헤드리스 모드로 실행
        browser = await p.chromium.launch(
            headless=True,
            args=["--no-sandbox", "--disable-dev-shm-usage"]
        )
        context = await browser.new_context(
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36",
            viewport={"width": 1280, "height": 800}
        )
        
        # 불필요한 이미지와 폰트 요청을 가로채 차단하여 메모리와 대역폭 절약
        await context.route(
            "**/*",
            lambda route: route.abort()
            if route.request.resource_type in ["image", "media", "font"]
            else route.continue_()
        )
 
        page = await context.new_page()
        try:
            await page.goto(TARGET_URL, wait_until="domcontentloaded", timeout=30000)
            
            # 페이지 내 제목 추출
            title = await page.title()
            logger.info("성공적으로 웹페이지를 수집했습니다: %s", title[:30])
            
            # 알림 메시지 구성 및 발송
            alert_msg = f"🔔 <b>[가격 모니터링 알림]</b>\n\n상품: {title}\n확인 시각: {time.strftime('%Y-%m-%d %H:%M:%S')}\n링크: {TARGET_URL}"
            await send_telegram_alert(alert_msg)
 
        except Exception as e:
            logger.error("수집 중 에러 발생: %s", e)
        finally:
            await context.close()
            await browser.close()
 
async def main_loop():
    logger.info("24/7 파이썬 크롤러 데몬이 시작되었습니다.")
    await send_telegram_alert("🚀 <b>[시스템]</b> 크롤러가 클라우드에서 가동을 시작했습니다.")
 
    while True:
        try:
            await scrape_product()
        except Exception as e:
            logger.error("예상치 못한 메인 루프 예외: %s", e)
 
        logger.info("%d초 대기 후 다음 수집을 진행합니다...", CHECK_INTERVAL_SECONDS)
        await asyncio.sleep(CHECK_INTERVAL_SECONDS)
 
if __name__ == "__main__":
    asyncio.run(main_loop())

# requirements.txt
playwright>=1.42.0
httpx>=0.27.0

[DashCloud] Chromium & Noto Sans CJK 한글 폰트 감지 완료
[DashCloud] requirements.txt 패키지 설치 완료
[DashCloud] 실행: python scraper.py
2026-10-01 16:00:00 - INFO - 24/7 파이썬 크롤러 데몬이 시작되었습니다.
2026-10-01 16:00:02 - INFO - 크롤링 시작: https://example.com/product/12345
2026-10-01 16:00:05 - INFO - 성공적으로 웹페이지를 수집했습니다