搜索结果:scraping(17 个)
按分类缩小范围
自托管的抖音、TikTok、B 站数据采集与去水印下载 API,支持 MCP 调用、离线转文字及 Docker 部署。
crawlee
综合 80
面向 Node.js 的网页抓取与浏览器自动化库,支持 JS/TS,便于为 AI、LLM 和 RAG 提取数据。
camofox-browser
综合 78
面向 AI Agent 的隐形无头浏览器,可绕过 Cloudflare 与反爬检测,可平替 Puppeteer/Playwright。
stagehand
综合 77
用于从网页提取数据并自动化交互的 SDK,支持接入 Claude Code 等。
nanobrowser
综合 77
开源网页自动化 AI Agent,可直接借助已登录的真实浏览器执行日常自动化任务。
SeleniumBase
综合 75
用于网页自动化、测试以及绕过机器人检测的 Python API 工具库。
Scrapegraph-ai
综合 74
基于 AI 的 Python 爬虫工具。
moli
综合 74
专为 AI Agent 设计的无头浏览器,基于 Rust 编写,轻量、极速且具备高兼容性。
obscura
综合 73
面向 AI Agent 和网页抓取场景的无头浏览器(Headless Browser)。
maxun
综合 72
将任意网站转化为结构化 API,支持网页数据提取、自动化工作流、搜索与监控。
Skill_Seekers
综合 72
可将开发文档网站、GitHub 仓库和 PDF 转为 Claude AI Skills,并支持冲突自动检测。
colly
综合 68
设计优雅、功能强大的 Golang 网络爬虫与数据采集框架。
huginn (个人自动化代理平台)
综合 66
〔中文简介暂未生成〕 Create agents that monitor and act on your behalf. Your agents are standing by!
undetected-chromedriver
综合 62
免配置的定制版 Selenium Chromedriver,可绕过各类反爬和机器人防护系统。
scala-scraper
综合 58
scala-scraper 是一个用于抓取和解析 HTML 网页的 Scala 库。它支持通过 Jsoup 等浏览器后端加载网络请求或本地 HTML 文件,并提供了强大的 DSL 语法(如 `>>` 提取操作符与 CSS 查询选择器),帮助开发者快速、优雅地提取并验证页面内容。
webmagic
综合 58
一款可扩展的 Java 网络爬虫框架。
为 AI Agent 打造的开源网页爬虫与信息提取工具,基于 Apache-2.0 协议开源。