网络爬虫实验平台,包含多个样例,如纯静态网站、动态渲染网站、字体反爬网站、登录验证网站、验证码验证网站、反代理网站、JavaScript混淆及加密网站等,持续更新中。
本平台自爬数据、自建页面、自接反爬,案例稳定后永不过期,适合教学与练习。
- login1:登录时用户名和密码经过加密处理,适合 JavaScript 逆向分析。
- captcha1:对接滑动拼图验证码,适合滑动拼图验证码分析处理。
- captcha2:对接图标点选验证码,适合图标点选验证码分析处理。
- captcha3:对接图文点选验证码,适合图文点选验证码分析处理。
- captcha4:对接语序分析验证码,适合语序分析验证码分析处理。
- captcha5:对接空间推理验证码,适合空间推理验证码分析处理。
- captcha6:对接九宫格识图验证码,适合九宫格识图验证码分析处理。
- static1:猫眼电影数据网站,数据通过服务端渲染,适合基本爬虫练习。
- dynamic1:猫眼电影数据网站,数据通过 Ajax 加载,页面动态渲染,适合 Ajax 分析和动态页面渲染爬取。
- dynamic2:猫眼电影数据网站,数据通过 Ajax 加载,数据接口参数加密且有时间限制,适合动态页面渲染爬取或 JavaScript 逆向分析。
- dynamic3:猫眼电影数据网站,数据通过 Ajax 加载,无页码翻页,适合 Ajax 分析和动态页面渲染抓取。
- dynamic4:新闻网站索引,数据通过 Ajax 加载,无页码翻页,适合 Ajax 分析和动态页面渲染抓取以及智能页面提取分析。
本平台采用 GitHub Actions + Kubernetes 自动化部署,详情见 WorkFlow。