纯 Scrapy 爬虫项目代码,用于快速开发并生成 egg 文件,以便于快速在服务器的 ScrapydWeb 网站部署爬虫。

之前的项目 KPLSpider 整合了 Scrapy 爬虫项目的代码、scrapyd、scrapydweb 三者的内容和配置,并配置好了 Dockerfile 文件,可利用 docker 快速打包部署到远程云服务器。

特别注意,以下几个包含密码的配置文件不允许提交到代码仓库:

• 1、config.ini 包含了数据库地址、用户名、密码等项目相关的敏感信息
• 2、scrapy.cfg spider deploy时的敏感信息

• 1、生成 egg 文件但不上传: scrapyd-deploy --build-egg egg_name.egg
• 2、上传指定 egg 文件到指定服务器: scrapyd-deploy -v version -L TARGET --egg egg_name.egg