轻量级的爬虫框架,很轻松的实现全站的爬取
给定一些起始的URL,和爬取URL的正则表达。则进行爬取,从这些站点入手开始爬取,不断的发散,当域名指定为一个站点时,即可以对单个站点进行全站爬取 BFS广度搜索。 预留出爬虫的解析和保存的接口,非常方便的自己进行解析工作和保存工作。 Redis保存爬取进度和已经爬取过得链接,需要安装redis,IP为127.0.0.1,端口为默认值。直接安装然后运行即可使用。 多线程与访问网络方面直接交由OKHTTP处理,省时省力,不过自己同时也在仿写okhttp,以后说不定会替换成自己写的TinyHttp。
打成了jar包,方便直接使用,路径:target/spider-0.0.1-SNAPSHOT.jar 可直接下载这个jar进行使用
//使用案例
Crawl crawl = SpiderUtil.Steup(); //设置代理,必须在start之前 crawl.setProxyPort(1080); crawl.setProxyUrl("127.0.0.1"); // 白名单,只有url满足传入的正则表达式才会进行爬取: crawl.setMatchRegex("xxxx"); // 黑名单,黑名单支持传入多个值 crawl.setBlackReg(new String[] {"xxxx"}); // 这里传入起始url,将这些url当做起始点,BFS广度搜索进行发散爬取 crawl.setStartUrls(new String[] { "xxx" }); // 这里的范型bean是自己创建的,随意什么类型主要是方便你自己把html解析之后序列化成java对象,然后存入数据库用的 MapperCallBack<bean> callBack = SpiderUtil.getMapperCallBack(); // callback预留的接口,在这里自己编写解析数据的过程 callBack.setParseListener(new Parse<bean>() { public bean parse(String url, String body) { return null; } }); // callback预留的接口,在这里自己编写数据持久化的过程 callBack.setSaveListener(new Save<bean>() { public void save(String url, bean entity) { } }); // 把接口设置进去 crawl.setListener(callBack); // 好了配置完成愉快的等爬取完成吧! crawl.start();