• 名称: UsefulProxyPool

• 导入: from UsefulProxyPool import runningPool

• 使用:

   tp = runningPool(
   SourcePath, 		# 数据库所在主机的ip
   User, 			# 数据库用户名
   Password,		# 数据库密码
   databaseName, 		# 数据库名称(可省, 程序指定为ProxyPool2)
   National=True, 		# 国内代理的标志
   highLevel=True, 		# 高匿代理的标志
   timeout=10)		# 超时设置
   )
   tp.run(
   mode='M', 		# 验证模式:单线程('S') / 多线程('M')
   multiNum=10, 		# 多线程模式下, 设置多线程的个数, 默认: 10个
   timeRange=2880	# 指定提取该时间范围内代理, 单位:分钟, 默认: 2880 分钟(两天内)
   )
   print tp.pool 	# 提取到的代理ip池, 集合(set)类型
  

系统环境:

• ubuntu 14.04
• 需要本地安装mysql数据库(开发使用的版本为: 5.5.47) 版本信息: mysql Ver 14.14 Distrib 5.5.47, for debian-linux-gnu (x86_64) using readline 6.3)

安装流程:

• 将项目clone到本地后. 命令行进入目录

• 运行以下命令:

   python setup.py sdist 
   sudo python setup.py install --record files.txt
   (record 前是两个连续-)
  

卸载安装包:

• 进入项目主目录,运行以下命令:

   sudo cat files.txt | sudo xargs rm -rf
  

注意: mysql装好后, 可以直接按照接口调用说明, 在程序中调用, 程序会自动创建数据库和相关表, 并初始化相关数据, 数据库固定使用名为ProxyPool2, 如有重名, 不会更改原来的数据, 但无法使用系统(待改进)

后续开发:

• 添加更多的提取源, 能够同时提供更多的代理
• 提供国外的高匿代理