3.如有侵犯权利,请联系作者删除,邮箱:daluan2000@qq.com。
爬取网站上小说章节的内容,并以txt形式保存在本地。
程序运行需要的参数如下:
| 参数名 | 参数值 | 样例 |
|---|---|---|
| -f | 保存在本地的文件名 | 斗破苍穹 |
| -u | 小说章节列表的url链接 | https://www.52bqg.org/book_361/ |
使用样例如下:
novel_crawler.exe -f 斗破苍穹 -u https://www.52bqg.org/book_361/
本爬虫的适应性非常强,只需经过简易的拓展,便基本能够爬取所有的公开小说网站(指那些不需要登陆就能阅读小说的网站)。
我这里只随便弄了几个网站作为样例,如果需要爬更多的网站那么告诉我网址就好,我这边稍微修改下程序就可以了。
- www.2biqu.com 笔趣阁,使用样例如下:
.\novel_crawler.exe -f 择日飞升 -u https://www.2biqu.com/biqu5396/- www.bige3.cc 笔趣阁,使用样例如下:
.\novel_crawler.exe -f 神秘复苏 -u https://www.bige3.cc/book/66/- www.52bqg.org 笔趣阁,使用样例如下:
.\novel_crawler.exe -f 深空彼岸 -u https://www.52bqg.org/book_99524/- www.ujxsw.net 悠久小说网,使用样例如下:
.\novel_crawler.exe -f 我的26岁女房客 -u http://www.ujxsw.net/read/15871/ - www.tianyabook.com 天涯书库,使用样例如下:
.\novel_crawler.exe -f 终极斗罗 -u https://www.tianyabook.com/shu/40027.html- www.trxs.cc 同人小说网,二次元比较多,使用样例如下:
.\novel_crawler.exe -f 我的后桌居然是珈百璃 -u http://www.trxs.cc/tongren/3650.html- www.00txt.com 科幻小说网,出版科幻小说
.\novel_crawler.exe -u http://www.00txt.com/santi/ -f 三体- www.1688by.com 好笔阁
.\novel_crawler.exe -f 我真不是邪神走狗 -u https://www.1688by.com/book/203501本章未- www.xbiqugeo.com 新笔趣阁,使用样例如下:
.\novel_crawler.exe -f 少年歌行 -u https://www.xbiqugeo.com/shu/6420/ - www.zrfsxs.com 择日小说网,使用样例如下:
.\novel_crawler.exe -f 深空彼岸 -u https://www.zrfsxs.com/xiaoshuo/42/- youyouxs.com 友友小说网
ps:这个网站限制ip访问频次,我没钱买ip池,所以只能限制程序的并发量,爬取速度会比较慢一些 ps:这个网站会封ip,建议连接手机热点
.\novel_crawler.exe -u https://youyouxs.com/xs_350417/zjml_1 -f 超能力者不想受欢迎