需要自己安装mongodb
conda create --name commercial_scrapy python=3.6 conda activate commercial_scrapy pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r ./requirements.txt
cd QuTouTiao
conda activate commercial_scrapy
python entrypoint.py Todo:
- 避免出现跳跃情况。 趣头条的降级策略:滑动两次之后,会把当次和上上次的给出来,怎么避免这个结果。
- 相关配置文件统一添加到setttings.py文件中
Todo:
头条财经专题爬虫
新浪财经爬虫