Firecrawl은 이제 내 컴퓨터 한 대에서 웹페이지를 에이전트용 마크다운으로 바꿉니다 | DAKER 커뮤니티
firecrawl/firecrawl은 웹사이트를 AI 에이전트가 읽기 좋은 마크다운으로 바꿔 주는 오픈소스 저장소이고, 최근에는 데이터베이스·큐·컨테이너 없이 내 컴퓨터에서 바로 돌아가는 Firecrawl Local을 README 맨 앞에 내세웠습니다. 2026년 11월 22일 GitHub 트렌딩(Daily) 6위에 올랐고, 같은 날 11:40 KST에 트렌딩 페이지에서 확인한 스타 수는 206,269개, 하루 새 스타는 1,006개입니다.

무엇인가
Firecrawl README는 이 프로젝트를 에이전트를 더 똑똑하게 만드는 지식 인프라라고 소개하고, 쓰는 방법을 세 가지로 나눕니다. 내 컴퓨터에서 하나의 실행 파일로 돌리는 Firecrawl Local, firecrawl.dev에서 제공하는 호스팅 서비스 Firecrawl Cloud, 그리고 큐·워커·데이터베이스를 갖춘 전체 서버를 직접 올리는 셀프 호스팅입니다. 이 저장소에는 Firecrawl Local과 셀프 호스팅 서버 코드, 세 방식 모두에 쓰는 SDK가 함께 들어 있습니다.
- 저장소: firecrawl/firecrawl (GitHub 설명: Knowledge infrastructure to make your agents smarter)
- 주요 언어: TypeScript(GitHub 트렌딩 페이지 표기)
- 라이선스: 주로 AGPL-3.0, SDK와 일부 UI 컴포넌트는 MIT(README 라이선스 항목 기준)
- 스타 206,269개, 포크 10,784개(2026-11-22 11:41 KST, GitHub 저장소 기준)
- GitHub 트렌딩 Daily 6위, 하루 새 스타 1,006개(2026-11-22 11:40 KST 확인)
- 기본 기능: 한 페이지 스크레이프(scrape), 사이트 전체 크롤(crawl), 사이트의 URL 목록 뽑기(map), 여러 URL 한꺼번에 처리(batch scrape)
README에 따르면 Firecrawl Local은 스크레이프·크롤·맵을 내 컴퓨터에서 처리합니다. 자바스크립트가 필요한 페이지는 컴퓨터에 이미 설치된 Chrome이나 Chromium으로 렌더링하고, PDF와 Office 문서도 로컬에서 파싱합니다. 웹 검색, 550개 넘는 데이터 제공처를 모은 Alexandria, 페이지를 클릭하며 다루는 Interact, 알아서 자료를 찾아오는 Agent 기능은 Firecrawl Cloud 쪽에 있습니다.
왜 지금 뜨나
가장 큰 변화는 Firecrawl Local입니다. Rust 패키지 저장소 crates.io를 보면 firecrawl-local 0.1.0이 2026년 11월 12일 07:47 KST에, 0.1.1이 11월 20일 02:40 KST에 올라왔고, 11월 22일 11:45 KST 기준 누적 다운로드는 4,252회입니다. 이어서 11월 20일 03:16 KST 커밋에서 README가 Firecrawl Local을 먼저 소개하고 그다음 Cloud와 셀프 호스팅을 안내하는 순서로 바뀌었습니다.
웹페이지를 에이전트가 바로 읽을 수 있는 마크다운으로 바꾸는 일을, 이제 서버 없이 내 컴퓨터 한 대에서 시작할 수 있습니다.
에이전트 도구와 바로 이어지는 점도 눈에 띕니다. README는 firecrawl-local init 명령이 Claude Code, Claude Desktop, Cursor, Windsurf, Gemini CLI, Codex를 찾아 각 도구에 Firecrawl Local을 MCP 서버로 추가하고, 그 전에 설정 파일을 모두 백업한다고 설명합니다. MCP 서버를 돌리려면 Node.js 22 이상이 필요합니다.
어떻게 써 보나
Firecrawl Local은 crates.io에서 설치합니다. Rust와 C 컴파일러가 필요하며, README는 macOS에서는 xcode-select --install, Debian이나 Ubuntu에서는 build-essential 설치를 안내합니다.
cargo install firecrawl-local
firecrawl-local scrape https://firecrawl.dev --markdown
firecrawl-local crawl https://docs.firecrawl.dev --limit 50 --out ./pages
firecrawl-local map https://firecrawl.dev
첫 줄은 설치, 둘째 줄은 한 페이지를 마크다운으로 출력, 셋째 줄은 문서 사이트를 최대 50페이지까지 페이지마다 마크다운 파일로 저장, 넷째 줄은 사이트의 URL 목록을 뽑는 예시입니다. Rust가 없다면 README는 빌드나 가입 없이 Firecrawl Cloud로 같은 스크레이프를 돌리는 명령도 함께 보여 줍니다.
npx -y firecrawl-cli@latest scrape https://firecrawl.dev
firecrawl-local serve를 실행하면 3002번 포트에서 Firecrawl v2 API가 열리고, 로컬 경로는 API 키 없이 쓸 수 있습니다. 기존 Firecrawl SDK도 API 주소만 바꾸면 그대로 붙습니다.
from firecrawl import Firecrawl
app = Firecrawl(api_url="http://localhost:3002")
print(app.scrape("https://firecrawl.dev").markdown)
알아 둘 점도 있습니다. 기본 설정에서는 내 컴퓨터에서 열리지 않는 단일 페이지를 Firecrawl Cloud가 대신 가져오고 결과에 firecrawl-cloud 출처 표시를 남깁니다. 모든 처리를 내 컴퓨터 안에서만 하려면 FIRECRAWL_CLOUD=off를 설정하면 됩니다. Firecrawl Local README에 따르면 serve는 기본으로 127.0.0.1에서만 요청을 받고, 크롤할 때는 robots.txt를 읽습니다.
어디에 쓰면 좋나
- RAG 자료 준비: 공식 문서 사이트를 crawl로 페이지별 마크다운 파일로 받아 두면 검색 증강 생성(RAG) 실험용 문서 묶음을 빠르게 만들 수 있습니다.
- 코딩 에이전트에 웹 읽기 붙이기: firecrawl-local init으로 Claude Code나 Cursor에 MCP 서버를 추가하면 에이전트가 라이브러리 문서나 대회 안내 페이지를 직접 읽고 요약할 수 있습니다.
- 사내·개인 환경 실험: 로컬 경로는 API 키 없이 돌아가고 FIRECRAWL_CLOUD=off로 외부 전송을 막을 수 있어, 서버를 따로 띄우기 어려운 환경에서 먼저 시험해 보기 좋습니다.
- 대회 데이터 활용 전 점검: 데이콘·DAKER 대회는 대회마다 외부 데이터 허용 규칙이 다르므로, 수집한 자료를 학습에 쓰기 전에 대회 규칙과 각 사이트의 이용 약관을 먼저 확인해야 합니다. README도 스크레이핑할 때 사이트 정책을 지키는 책임은 사용자에게 있다고 밝힙니다.
여러분은 에이전트에게 어떤 웹페이지를 가장 먼저 읽혀 보고 싶으신가요? 웹 자료를 마크다운으로 바꿔 쓰는 나만의 방법이 있다면 댓글로 나눠 주세요.
출처
- GitHub 저장소: https://github.com/firecrawl/firecrawl
- README(세 가지 사용 방식·설치·사용 예시·라이선스): https://github.com/firecrawl/firecrawl/blob/main/README.md
- Firecrawl Local README(명령·보안 기본값): https://github.com/firecrawl/firecrawl/tree/main/apps/local
- README 순서 변경 커밋: https://github.com/firecrawl/firecrawl/commit/8642a5271e692e9ebeccdc379ad87c85ac7dd7d0
- crates.io firecrawl-local: https://crates.io/crates/firecrawl-local
- GitHub 트렌딩(Daily): https://github.com/trending