⚠️ 本技能包需配合 AI Agent 使用(WorkBuddy,或任何支持 SKILL.md 规范的 AI Agent 平台)。下载 Zip 包后,在 WorkBuddy 中导入/配置本技能,即可直接对话使用。
一款通过 CDP(Chrome DevTools Protocol)连接用户已打开浏览器、直接读取页面 DOM 数据的网页数据抓取工具:
- 不走爬虫、不调平台接口——登录态天然在浏览器里,绕过签名与风控
- 所见即所得——用户在浏览器里打开什么、滚动展开到什么,就抓什么
- 多平台——内置小红书、抖音、B站适配,其他网页可用通用模式
- 双形态——图形界面版(exe)+ AI Agent 版(skill)
抓取字段:标题、作者、发布时间、正文、点赞数、收藏数、评论数、评论列表(含折叠回复)、点赞数值归一化。
- 桌面版 exe(Windows,双击即用):请从 Releases 下载
科研福音数据抓取神器.exe - AI Agent 版 skill:从 Releases 下载
web-data-scraper_v1.5.1.zip,导入 WorkBuddy 使用
- 在 WorkBuddy 中导入
web-data-scraper_v1.5.1.zip - 对 AI Agent 说:「帮我抓取小红书/抖音/B站评论」
- Agent 会引导你打开浏览器、登录、滚动评论区,然后自动抓取并导出 Excel
- 启动工具,点「🔌 自动抓取」——自动连接/启动调试浏览器(Edge 优先)
- 在浏览器中打开目标页面,可多开窗口,评论区滑到最底部
- 勾选页面和字段,点「🚀 开始抓取」
- 点「📥 导出 Excel」保存数据
pip install websocket-client openpyxl python web_scraper.py --platform xiaohongshu --out 结果.xlsx python web_scraper.py --platform douyin --out 结果.xlsx python web_scraper.py --platform bilibili --out 结果.xlsx
| 平台 | 注意 |
|---|---|
| 小红书 | 子评论自动挂载到父评论 |
| 抖音 | 评论区虚拟滚动,抓取前必须先滚动评论区加载数据 |
| B站 | 评论区懒加载,抓取前先滚动页面使评论区渲染 |
📧 804652586@qq.com | ☎️ 17019921000(批量定制 / API 接入 / 私有化部署)
© 2026 Yourtsao. All rights reserved.