hsfl.net
当前位置:首页 >> python urliB2 rEAD会超时吗 >>

python urliB2 rEAD会超时吗

有时候我们在爬取网络数据时,会因为对方网速缓慢、服务器超时等原因, 导致 urllib2.urlopen() 之后的 read()操作(下载内容)卡死,要解决这个问题方法有如下几个: 1、为urlopen设置可选参数 timeout import urllib2 r = urllib2.Request("P1...

设置timeout即可

ubuntu 的控制台默认是utf8编码的吧。而且这个google返回的是big5编码吗,用下面的代码解码下试试 url="网址" content = urllib2.urlopen(url).read() print content.decode('big5').encode('utf8')

urllib2的open方法可以直接打开并获取你所访问的url页面源码 案例: response = urllib2.urlopen('你的URL')html = response.read()print html 其他更多高级用法可以参阅urllib2模块文档

网站首页 | 网站地图
All rights reserved Powered by www.hsfl.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com