搜索结果:scraping(16 个)
按分类缩小范围
Scrapling (全功能网页数据爬取框架)
综合 47
一款现代网页爬虫框架,支持从单次网络请求到大规模爬取的各类数据抓取需求。
自托管的抖音、TikTok、B 站数据采集与去水印下载 API,支持 MCP 调用、离线转文字及 Docker 部署。
camofox-browser
综合 78
面向 AI Agent 的隐形无头浏览器,可绕过 Cloudflare 与反爬检测,可平替 Puppeteer/Playwright。
stagehand
综合 77
用于从网页提取数据并自动化交互的 SDK,支持接入 Claude Code 等。
nanobrowser
综合 77
开源网页自动化 AI Agent,可直接借助已登录的真实浏览器执行日常自动化任务。
SeleniumBase
综合 75
用于网页自动化、测试以及绕过机器人检测的 Python API 工具库。
obscura
综合 73
面向 AI Agent 和网页抓取场景的无头浏览器(Headless Browser)。
deep-research
综合 69
结合搜索引擎、网页抓取与 LLM,针对任意主题开展迭代式深度研究的 AI 助手。
colly
综合 68
设计优雅、功能强大的 Golang 网络爬虫与数据采集框架。
jsoup
综合 66
经典的 Java HTML 解析库,专为 HTML 数据抓取、解析、清洗及防范 XSS 设计。
undetected-chromedriver
综合 62
免配置的定制版 Selenium Chromedriver,可绕过各类反爬和机器人防护系统。
webmagic
综合 58
一款可扩展的 Java 网络爬虫框架。
Ghosten-Player
综合 54
支持网盘直连、元数据刮削、IPTV 和文件管理的视频播放器。
crawly
综合 53
基于 Elixir 的高级网页爬虫与数据抓取框架。
为 AI Agent 打造的开源网页爬虫与信息提取工具,基于 Apache-2.0 协议开源。
scrapy
综合 45
Python 高阶快速网络爬虫与数据抓取框架。