爬虫管理系统,爬虫管理平台,分布式爬虫管理平台,可视化操作,完整监控,灵活的Python环境管理,,环境隔离,资源占用小,支持 Scrapy 等主流爬虫框架,支持 Selenium、Playwright、DrissionPage 等浏览器自动化工具,支持node环境下的js逆向代码,支持windows分布式调度,支持流程编排,实现 Python 脚本零 API 封装化
最近更新: 1天前Github国内镜像,供下载使用,有问题可移步到下面GitHub链接
最近更新: 3年多前Apache DolphinScheduler(incubator,原EasyScheduler)是一个分布式工作流任务调度系统,主要解决数据研发ETL错综复杂的依赖关系,而不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。下载安装请去官网
最近更新: 6年前风铃虫是一款轻量级的爬虫工具,似风铃一样灵敏,如蜘蛛一般敏捷,能感知任何细小的风吹草动,轻松抓取互联网上的内容
最近更新: 6年前jiacrontab 是一款完全自主设计并实现的定时任务&常驻任务管理工具。 提供了方便的界面用于完全控制系统中运行的定时任务和常驻任务。
最近更新: 6年多前opencron 是强大的管理linux crontab任务的系统,基于JAVA开发
最近更新: 7年多前