分享
这是一个创建于 的主题,其中的信息可能已经有所发展或是发生改变。
每个程序都不可避免地要进行异常处理,爬虫也不例外,假如不进行异常处理,可能导致爬虫程序直接崩掉。以下是网络爬虫出现的异常种类。
**URLError**
通常,URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生。
**HTTPError**
首先我们要明白服务器上每一个HTTP 应答对象response都包含一个数字"状态码",该状态码表示HTTP协议所返回的响应的状态,这就是HTTPError。比如当产生"404 Not Found"的时候,便表示"没有找到对应页面",可能是输错了URL地址,也可能IP被该网站屏蔽了,这时便要使用代理IP进行爬取数据。
**两者关系**
两者是父类与子类的关系,即HTTPError是URLError的子类,HTTPError有异常状态码与异常原因,URLError没有异常状态码。所以,我们在处理的时候,不能使用URLError直接代替HTTPError。同时,Python中所有异常都是基类Exception的成员,所有异常都从此基类继承,而且都在exceptions模块中定义。如果要代替,必须要判断是否有状态码属性。
想了解更多网络爬虫异常处理的问题,可以与我联系!
【老男孩Python培训www.oldboyedu.com 18500150262】
有疑问加站长微信联系(非本文作者)
入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889
关注微信2565 次点击
添加一条新回复
(您需要 后才能回复 没有账号 ?)
- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传