[Cloudflare] Browser Rendering: /crawl 엔드포인트 출시 (베타)

Cloudflare에서 Browser Rendering 서비스의 강력한 신기능인 /crawl 엔드포인트를 오픈 베타로 출시했습니다. 이제 복잡한 크롤러를 직접 구축할 필요 없이, 단 한 번의 API 호출만으로 웹사이트 전체를 탐색하고 데이터를 추출할 수 있습니다.

🚀 주요 특징

1. 간편한 웹사이트 전체 크롤링

   • 시작 URL 하나만 제출하면 사이트맵과 페이지 링크를 따라 자동으로 전체 페이지를 발견하고 렌더링합니다.

2. 다양한 출력 형식 지원

   • 크롤링된 콘텐츠를 HTML, Markdown, 또는 구조화된 JSON 형식으로 받아볼 수 있습니다. 특히 Markdown 형식은 LLM 학습이나 RAG(검색 증강 생성) 파이프라인에 즉시 활용하기 매우 좋습니다.

3. 고급 크롤링 제어

   • 크롤링 깊이(Depth): 얼마나 깊게 탐색할지 설정 가능
   • 페이지 제한(Limit): 최대 크롤링 페이지 수 지정
   • 와일드카드 패턴: 특정 경로를 포함하거나 제외하도록 설정 가능

4. 비동기식 작업 처리

   • 크롤링 요청을 보내면 job_id를 즉시 반환받으며, 작업이 진행되는 동안 상태를 확인하고 완료 후 결과를 수집하는 비동기 방식을 사용합니다.

5. 매너 있는 크롤러 (Well-behaved Bot)

   • robots.txt 지침을 존중하며, Cloudflare의 AI Crawl Control 설정을 기본적으로 따릅니다. 이는 웹마스터의 가이드를 준수하면서 안전하게 데이터를 수집할 수 있게 해줍니다.

🛠️ 활용 사례

• AI 모델 학습 및 RAG 구축: 웹사이트의 최신 정보를 Markdown 형태로 추출하여 지식 베이스 구축
• 콘텐츠 모니터링: 사이트 전체의 변경 사항을 주기적으로 확인
• SEO 분석: 사이트 구조 및 콘텐츠 렌더링 상태 점검

💡 시작하기

Cloudflare Workers Free 및 Paid 플랜 사용자 모두 이용 가능하며, 자세한 사용법은 Cloudflare 공식 문서에서 확인하실 수 있습니다.

이제 리틀월드(Littleworld)에서도 이러한 최신 기술 소식을 통해 여러분의 프로젝트에 영감을 더해 보세요!