crawl4ai

把网页变成干净的 Markdown 文字（一种带标题、列表格式的纯文本，AI 读起来最顺），菜单、页脚这些杂七杂八的东西会被滤掉，表格和链接保留下来。开源免费，可以装在自己电脑上跑，不用注册，也不按页付费；另外有官方的云服务，注册拿一把钥匙就能用，还多了搜索网页这类功能。

适合谁

• 想把一批网页资料交给 AI 做总结、建知识库的人。
• 要定期把一些公开网页整理成文档的人。
• 想让 Claude Code 这类 AI 助手自己去读网页的人。

怎么开始

1. 最省事：把仓库链接发给 Claude Code，说「帮我装上 crawl4ai，把这个网址抓成 Markdown 存到桌面」，它会自己装好、跑一遍给你看。
2. 自己装：它是 Python（一种编程语言，很多 AI 工具靠它跑）的工具包。在命令行（电脑上那个黑底白字、靠打字下命令的窗口）里运行 pip install -U crawl4ai，再运行 crawl4ai-setup 装好它要用的浏览器。
3. 抓一个网页：运行 crwl https://example.com -o markdown，把网址换成你要的，屏幕上就会出现整理好的文字。加上 --deep-crawl bfs --max-pages 10，能顺着链接多抓几页。
4. 会用 Docker（一种把软件装进独立小盒子里运行的工具）的，可以把它跑成本机的一个服务，还带网页版的控制台和试用页面。

要注意

• Apache-2.0 许可，自己跑一直免费。云服务每月有一笔免费额度，用得多要买套餐，价格看官网。
• 自己跑的时候，遇到内容靠脚本动态加载的网站，要自己调设置。
• 用 AI 从网页里提取结构化数据（比如把商品价格整理成表格），要填你自己的大模型钥匙。
• 抓别人的网站要守人家的规矩：看清使用条款，别高频猛抓；登录后才能看的内容，只抓你自己有权看的。