Firecrawl은 이제 내 컴퓨터 한 대에서 웹페이지를 에이전트용 마크다운으로 바꿉니다 | DAKER 커뮤니티

firecrawl/firecrawl은 웹사이트를 AI 에이전트가 읽기 좋은 마크다운으로 바꿔 주는 오픈소스 저장소이고, 최근에는 데이터베이스·큐·컨테이너 없이 내 컴퓨터에서 바로 돌아가는 Firecrawl Local을 README 맨 앞에 내세웠습니다. 2026년 11월 22일 GitHub 트렌딩(Daily) 6위에 올랐고, 같은 날 11:40 KST에 트렌딩 페이지에서 확인한 스타 수는 206,269개, 하루 새 스타는 1,006개입니다.

찢어진 신문지와 웹페이지 조각들이 주황색 깔때기를 지나 가지런한 문서로 정리되고, 종이 로봇이 그 문서를 읽는 신문 콜라주와 Firecrawl 공식 로고

무엇인가

Firecrawl README는 이 프로젝트를 에이전트를 더 똑똑하게 만드는 지식 인프라라고 소개하고, 쓰는 방법을 세 가지로 나눕니다. 내 컴퓨터에서 하나의 실행 파일로 돌리는 Firecrawl Local, firecrawl.dev에서 제공하는 호스팅 서비스 Firecrawl Cloud, 그리고 큐·워커·데이터베이스를 갖춘 전체 서버를 직접 올리는 셀프 호스팅입니다. 이 저장소에는 Firecrawl Local과 셀프 호스팅 서버 코드, 세 방식 모두에 쓰는 SDK가 함께 들어 있습니다.

README에 따르면 Firecrawl Local은 스크레이프·크롤·맵을 내 컴퓨터에서 처리합니다. 자바스크립트가 필요한 페이지는 컴퓨터에 이미 설치된 Chrome이나 Chromium으로 렌더링하고, PDF와 Office 문서도 로컬에서 파싱합니다. 웹 검색, 550개 넘는 데이터 제공처를 모은 Alexandria, 페이지를 클릭하며 다루는 Interact, 알아서 자료를 찾아오는 Agent 기능은 Firecrawl Cloud 쪽에 있습니다.

왜 지금 뜨나

가장 큰 변화는 Firecrawl Local입니다. Rust 패키지 저장소 crates.io를 보면 firecrawl-local 0.1.0이 2026년 11월 12일 07:47 KST에, 0.1.1이 11월 20일 02:40 KST에 올라왔고, 11월 22일 11:45 KST 기준 누적 다운로드는 4,252회입니다. 이어서 11월 20일 03:16 KST 커밋에서 README가 Firecrawl Local을 먼저 소개하고 그다음 Cloud와 셀프 호스팅을 안내하는 순서로 바뀌었습니다.

웹페이지를 에이전트가 바로 읽을 수 있는 마크다운으로 바꾸는 일을, 이제 서버 없이 내 컴퓨터 한 대에서 시작할 수 있습니다.

에이전트 도구와 바로 이어지는 점도 눈에 띕니다. README는 firecrawl-local init 명령이 Claude Code, Claude Desktop, Cursor, Windsurf, Gemini CLI, Codex를 찾아 각 도구에 Firecrawl Local을 MCP 서버로 추가하고, 그 전에 설정 파일을 모두 백업한다고 설명합니다. MCP 서버를 돌리려면 Node.js 22 이상이 필요합니다.

어떻게 써 보나

Firecrawl Local은 crates.io에서 설치합니다. Rust와 C 컴파일러가 필요하며, README는 macOS에서는 xcode-select --install, Debian이나 Ubuntu에서는 build-essential 설치를 안내합니다.

cargo install firecrawl-local
firecrawl-local scrape https://firecrawl.dev --markdown
firecrawl-local crawl https://docs.firecrawl.dev --limit 50 --out ./pages
firecrawl-local map https://firecrawl.dev

첫 줄은 설치, 둘째 줄은 한 페이지를 마크다운으로 출력, 셋째 줄은 문서 사이트를 최대 50페이지까지 페이지마다 마크다운 파일로 저장, 넷째 줄은 사이트의 URL 목록을 뽑는 예시입니다. Rust가 없다면 README는 빌드나 가입 없이 Firecrawl Cloud로 같은 스크레이프를 돌리는 명령도 함께 보여 줍니다.

npx -y firecrawl-cli@latest scrape https://firecrawl.dev

firecrawl-local serve를 실행하면 3002번 포트에서 Firecrawl v2 API가 열리고, 로컬 경로는 API 키 없이 쓸 수 있습니다. 기존 Firecrawl SDK도 API 주소만 바꾸면 그대로 붙습니다.

from firecrawl import Firecrawl

app = Firecrawl(api_url="http://localhost:3002")
print(app.scrape("https://firecrawl.dev").markdown)

알아 둘 점도 있습니다. 기본 설정에서는 내 컴퓨터에서 열리지 않는 단일 페이지를 Firecrawl Cloud가 대신 가져오고 결과에 firecrawl-cloud 출처 표시를 남깁니다. 모든 처리를 내 컴퓨터 안에서만 하려면 FIRECRAWL_CLOUD=off를 설정하면 됩니다. Firecrawl Local README에 따르면 serve는 기본으로 127.0.0.1에서만 요청을 받고, 크롤할 때는 robots.txt를 읽습니다.

어디에 쓰면 좋나

여러분은 에이전트에게 어떤 웹페이지를 가장 먼저 읽혀 보고 싶으신가요? 웹 자료를 마크다운으로 바꿔 쓰는 나만의 방법이 있다면 댓글로 나눠 주세요.

출처