새로운 /crawl 엔드포인트 등장
이제 API 한 번 호출만으로 웹사이트 전체를 크롤링할 수 있습니다.
기존처럼
크롤링 스크립트 작성
브라우저 자동화 관리
페이지 하나씩 파싱
같은 작업이 필요 없습니다.
사이트 URL 하나만 넣으면
홈페이지
하위 페이지
문서
블로그 글
등을 자동으로 돌아다니면서 사이트 전체 콘텐츠를 수집합니다.
결과는 다음 형식으로 바로 받을 수 있습니다.
HTML
Markdown
JSON
쉽게 말하면
예전 방식
→ 사람이 사이트를 돌아다니며 페이지를 하나씩 긁어옴
/crawl
→ API 한 번으로 사이트 전체 내용을 자동 수집
이 기능이 특히 많이 쓰이는 분야
AI 챗봇 학습 데이터 구축
RAG 기반 AI 서비스
문서 검색 엔진
경쟁 서비스 분석
AI 에이전트 자동화
방패 만드는 회사가 다 뚫는 창 만들어서 파네요 ㄷ