• 代码还不够完善,欢迎各位大佬们提出改进意见!

• 配置的系统环境如下:
  
• 本系统使用的是Python3.4和Django1.8.2
  
• 用到的编译器是Sublime和Pycharm
  
• 用到的数据库是Mysql5.6,
  
• 用到的数据库管理工具是Navicat.
  

• 首先执行的程序是crawl_baidunuomi.py
  
• 或者执行crawl_baidunuomi_toal.py
  

• 使用Pycharm打开美食地图系统,然后执行python manager.py runserver 即可打开程序
  

1.lxml
2.xpath
3.pyquery
4.bs4
5.etree
6.re

pip 安装依赖
$pip install -r requirments.txt

$python craw_baidunuomi.py

对路径稍作修改可以爬取其他类型的数据(酒店、机票、旅游等)

先获取所有城市的URL地址并将其放入列表中,然后每从列表中取一个城市的url地址就获取其城市的所有美食数据,拼接地址、翻页等。在爬取过程中用到了IP代理池,每次都会确定使用的ip,若ip失效,则替换掉,从断点处继续爬取。并将爬到的数据保存在mysql数据库中。