说明:使用django框架和requests库搭建 可以访问http://47.102.205.85:9000/ 显示示例 渣渣云服务器,里面只有有测试数据,勿大量请求。
- python3 和mysql数据库
- 下载源码
git clone https://github.com/pangxiaobin/proxy_ip_pool.git 或者在https://github.com/pangxiaobin/proxy_ip_pool下载zip文件
- 安装依赖
pip install -i https://pypi.douban.com/simple/ -r requments.txt
- 创建数据库
mysql -uroot -p
create database ippool charset=utf8;- 配置项目
# ProxyIPPool/settings.py 基本的配置文件 # Database 使用mysql DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'ippool', # db name 'USER': 'root', # 用户名 'PASSWORD': 'password', # 密码 'HOST': 'localhost', 'PORT': 3306, } }
# uwsgi.ini uwsgi.ini [uwsgi] # 监听的ip地址和端口 这里修改访问端口 http=0.0.0.0:8000 # 配置工程目录 项目所在的绝对路径 chdir=/path/to/proxy_ip_pool/ProxyIPPool/ # 配置项目的wsgi目录。相对于工程目录 wsgi-file=ProxyIPPool/wsgi.py
python manage.py makemigrations python manage.py migrate
-
方法一
cd ProxyIPPool # 进入到manage.py这一级 python manage.py runserver # 启动后访问http://127.0.0.1:8000
-
方式二
# 使用uwgi 启动服务 这样可以后台启动 uwsgi --ini uwsgi.ini
可以使用方式一进行调试运行,方式二进行稳定运行
-
启动爬取代理ip的脚本
# 调试时运行 python run.py # 在服务器中可以运行 nohup python -u run.py >> crawler.out 2>&1 &
注意在项目下创建存储日志的文件
/ProxyIPPool/log/log.txt
-
请求方式GET
-
首页展示的内容可以在这里IPPool/views.py中修改
# IPPool/views.py # 修改context 改变返回首页的内容 def index(requests): """ 返回到说明页 :param requests: :return: """ context = '<h3>1.访问接口http://{运行服务器的ip}/api/fetch/ 随机返回一个代理ip信息</h3> <br/>' \ '<h3>2.访问接口http://{运行服务器的ip}/api/random/{个数}, 随机返回指定个数</h3> <br/>' return HttpResponse(context)