一个强大的 Chrome 扩展程序,用于从 X/Twitter 账户分析页面抓取推文数据和媒体链接。
- 📊 数据抓取:从 X/Twitter 账户分析页面提取推文、图片、视频和统计数据
- 🔄 自动滚动:支持自动滚动页面并增量抓取,无需手动操作
- 💾 本地缓存:所有抓取的数据保存在本地浏览器存储中
- 📱 响应式侧边栏:优雅的侧边栏界面,可以在 X/Twitter 页面上直接显示和操作数据
- 🔍 数据筛选:支持按时间、内容类型和其他条件筛选数据
- 📈 统计视图:展示推文的点赞、转发、回复、浏览量等统计数据
- 🎯 精确导航:支持直接跳转到原始推文页面
- 🌐 多语言支持:界面支持中文和英文
- 克隆或下载此项目到本地
- 打开 Chrome 浏览器,访问
chrome://extensions/ - 开启右上角的"开发者模式"开关
- 点击"加载已解压的扩展程序"
- 选择项目中的
chrome-extension文件夹 - 扩展程序安装完成,可以在浏览器工具栏看到 X Data Scraper 图标
- 打开 X/Twitter 账户分析页面
- 点击浏览器工具栏中的 X Data Scraper 图标
- 在打开的侧边栏中,你可以选择以下操作:
- Scrape Current View:抓取当前页面可见的所有推文
- Start Auto Scroll:开始自动滚动并抓取更多推文
- Stop Scroll:停止自动滚动
- Clear Data:清除所有缓存的数据
- 抓取完成后,所有数据将保存在本地存储中
- 你可以通过侧边栏查看抓取的推文列表
- 点击任何推文可以直接跳转到原始推文页面
- 使用筛选器可以按特定条件筛选显示的推文
- 支持导出数据为 JSON 格式
chrome-extension/
├── manifest.json # 扩展程序配置文件
├── background.js # 后台服务工作者
├── content.js # 内容脚本,负责抓取数据
├── popup.html # 侧边栏 HTML 界面
├── popup.js # 侧边栏交互逻辑
├── style.css # 样式文件
└── icons/ # 扩展程序图标
├── icon-16.png
├── icon-32.png
└── icon-128.png
-
Content Script (
content.js):- 负责从页面 DOM 中提取推文数据
- 处理页面导航和自动滚动
- 管理数据缓存和与后台的通信
-
Popup Interface (
popup.html&popup.js):- 提供用户界面
- 显示抓取的数据
- 处理用户交互和数据筛选
-
Data Storage:
- 使用 Chrome 本地存储 API 持久化数据
- 支持增量抓取,避免重复数据
扩展程序通过以下方式抓取数据:
- 识别分析页面中的推文元素
- 提取推文 ID、文本、图片链接、统计数据等
- 解析时间戳和用户信息
- 标准化和存储数据格式
- 确保安装了最新版本的 Chrome 浏览器
- 使用文本编辑器修改源代码
- 在
chrome://extensions/页面点击扩展程序的"刷新"按钮以应用更改
- 使用 Chrome 开发者工具调试内容脚本和弹出窗口
- 查看控制台日志了解抓取过程中的问题
- 使用断点调试复杂的数据处理逻辑
- Fork 本项目
- 创建功能分支 (
git checkout -b feature/AmazingFeature) - 提交更改 (
git commit -m 'Add some AmazingFeature') - 推送到分支 (
git push origin feature/AmazingFeature) - 打开 Pull Request
A: 确保你已登录 X/Twitter 账户,并且正在访问账户分析页面 (https://x.com/i/account_analytics/content)。
A: 数据保存在浏览器的本地存储中,不会上传到任何服务器。
A: 当前版本支持在界面中查看数据,未来版本将添加数据导出功能。
- 初始版本发布
- 基本的数据抓取功能
- 侧边栏界面
- 自动滚动功能
本项目采用 MIT 许可证 - 查看 LICENSE 文件了解详情。
如有问题或建议,请通过以下方式联系:
- 提交 Issue: GitHub Issues
- 邮箱: your.email@example.com
免责声明: 本扩展程序仅用于个人学习和研究目的。请遵守 X/Twitter 的使用条款和 API 使用政策。