免费做网站的好不好,天津市建设工程管理总队网站,四川省工程建设管理协会网站,游戏科技网站使用 requests
上一节中#xff0c;我们了解了 urllib 的基本用法#xff0c;但是其中确实有不方便的地方#xff0c;比如处理网页验证和 Cookies 时#xff0c;需要写 Opener 和 Handler 来处理。为了更加方便地实现这些操作#xff0c;就有了更为强大的库 requests我们了解了 urllib 的基本用法但是其中确实有不方便的地方比如处理网页验证和 Cookies 时需要写 Opener 和 Handler 来处理。为了更加方便地实现这些操作就有了更为强大的库 requests有了它Cookies、登录验证、代理设置等操作都不是事儿。
接下来让我们领略一下它的强大之处吧。
基本用法
1. 准备工作
在开始之前请确保已经正确安装好了 requests 库。如果没有安装可以参考我之前的文章进行安装。
2. 实例引入
urllib 库中的 urlopen 方法实际上是以 GET 方式请求网页而 requests 中相应的方法就是 get 方法是不是感觉表达更明确一些下面通过实例来看一下
import requests
r requests.get(https://www.baidu.com/)
print(type(r))
print(r.status_code)
print(type(r.text))
print(r.text)
print(r.cookies)
运行结果如下
class requests.models.Response
200
classstr
html
head
script
location.replace(location.href.replace(https://,http://));
/script
/head
body
noscriptmeta http-equivrefresh content0;urlhttp://www.baidu.com//noscript
/body
/html
RequestsCookieJar[Cookie BIDUPSID992C3B26F4C4D09505C5E959D5FBC005 for .baidu.com/, Cookie
PSTM1472227535 for .baidu.com/, Cookie __bsi15304754498609545148_00_40_N_N_2_0303_C02F_N_N_N_0
for .www.baidu.com/, Cookie BD_NOT_HTTPS1 for www.baidu.com/]
这里我们调用 get 方法实现与 urlopen 相同的操作得到一个 Response 对象然后分别输出了 Response 的类型、状态码、响应体的类型、内容以及 Cookies。
通过运行结果可以发现它的返回类型是 requests.models.Response响应体的类型是字符串 strCookies 的类型是 RequestsCookieJar。
使用 get 方法成功实现一个 GET 请求这倒不算什么更方便之处在于其他的请求类型依然可以用一句话来完成示例如下
r requests.post(http://httpbin.org/post)
r requests.put(http://httpbin.org/put)
r requests.delete(http://httpbin.org/delete)
r requests.head(http://httpbin.org/get)
r requests.options(http://httpbin.org/get)
这里分别用 post、put、delete 等方法实现了 POST、PUT、DELETE 等请求。是不是比 urllib 简单太多了
其实这只是冰山一角更多的还在后面。
3. GET 请求
HTTP 中最常见的请求之一就是 GET 请求下面首先来详细了解一下利用 requests 构建 GET 请求的方法。
基本实例
首先构建一个最简单的 GET 请求请求的链接为 http://httpbin.org/get该网站会判断如果客户端发起的是 GET 请求的话它返回相应的请求信息
import requests
r requests.get(http://httpbin.org/get)
print(r.text)
运行结果如下
{args: {}, headers: { Accept: */*, Accept-Encoding: gzip, deflate, Host: httpbin.org, User-Agent: python-requests/2.10.0 }, origin: 122.4.215.33, url: http://httpbin.org/get
}
可以发现我们成功发起了 GET 请求返回结果中包含请求头、URL、IP 等信息。
那么对于 GET 请求如果要附加额外的信息一般怎样添加呢比如现在想添加两个参数其中 name 是 germeyage 是 22。要构造这个请求链接是不是要直接写成
r requests.get(http://httpbin.org/get?namegermeyage22)
这样也可以但是是不是有点不人性化呢一般情况下这种信息数据会用字典来存储。那么怎样来构造这个链接呢
这同样很简单利用 params 这个参数就好了示例如下
import requests
data { name: germey, age: 22
}
r requests.get(http://httpbin.org/get, paramsdata)
print(r.text)
运行结果如下
{ args: { age: 22, name: germey }, headers: { Accept: */*, Accept-Encoding: gzip, deflate, Host: httpbin.org, User-Agent: python-requests/2.10.0 }, origin: 122.4.215.33, url: http://httpbin.org/get?age22namegermey
}
通过返回信息我们可以判断请求的链接自动被构造成了http://httpbin.org/get?age22namegermey。
另外网页的返回类型实际上是 str 类型但是它很特殊是 JSON 格式的。所以如果想直接解析返回结果得到一个字典格式的话可以直接调用 json 方法。示例如下
import requests
r requests.get(http://httpbin.org/get)
print(type(r.text))
print(r.json())
print(type(r.json()))
运行结果如下
classstr
{headers: {Accept-Encoding: gzip, deflate, Accept: */*, Host: httpbin.org, User-Agent: python-requests/2.10.0}, url: http://httpbin.org/get, args: {}, origin: 182.33.248.131}
class dict
可以发现调用 json 方法就可以将返回结果是 JSON 格式的字符串转化为字典。
但需要注意的是如果返回结果不是 JSON 格式便会出现解析错误抛出 json.decoder.JSONDecodeError 异常。
抓取网页
上面的请求链接返回的是 JSON 形式的字符串那么如果请求普通的网页则肯定能获得相应的内容了。下面以 “知乎”→“发现” 页面为例来看一下
import requests
import reheaders {User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36
}
r requests.get(https://www.zhihu.com/explore, headersheaders)
pattern re.compile(explore-feed.*?question_link.*?(.*?)/a, re.S)
titles re.findall(pattern, r.text)
print(titles)
这里我们加入了 headers 信息其中包含了 User-Agent 字段信息也就是浏览器标识信息。如果不加这个知乎会禁止抓取。
接下来我们用到了最基础的正则表达式来匹配出所有的问题内容。这里作为实例来配合讲解。
运行结果如下
[\n 为什么很多人喜欢提及「拉丁语系」这个词\n, \n 在没有水的情况下水系宝可梦如何战斗\n, \n 有哪些经验可以送给 Kindle 新人\n, \n 谷歌的广告业务是如何赚钱的\n, \n 程序员该学习什么能在上学期间挣钱\n, \n 有哪些原本只是一个小消息但回看发现是个惊天大新闻的例子\n, \n 如何评价今敏\n, \n 源氏是怎么把那么长的刀从背后拔出来的\n, \n 年轻时得了绝症或大病是怎样的感受\n, \n 年轻时得了绝症或大病是怎样的感受\n]
我们发现这里成功提取出了所有的问题内容。
抓取二进制数据
在上面的例子中我们抓取的是知乎的一个页面实际上它返回的是一个 HTML 文档。如果想抓取图片、音频、视频等文件应该怎么办呢
图片、音频、视频这些文件本质上都是由二进制码组成的由于有特定的保存格式和对应的解析方式我们才可以看到这些形形色色的多媒体。所以想要抓取它们就要拿到它们的二进制码。
下面以 GitHub 的站点图标为例来看一下
import requestsr requests.get(https://github.com/favicon.ico)
print(r.text)
print(r.content)
这里抓取的内容是站点图标也就是在浏览器每一个标签上显示的小图标如图所示。 站点图标
这里打印了 Response 对象的两个属性一个是 text另一个是 content。
运行结果如图所示其中前两行是 r.text 的结果最后一行是 r.content 的结果。 运行结果
可以注意到前者出现了乱码后者结果前带有一个 b这代表是 bytes 类型的数据。由于图片是二进制数据所以前者在打印时转化为 str 类型也就是图片直接转化为字符串这理所当然会出现乱码。
接着我们将刚才提取到的图片保存下来
import requestsr requests.get(https://github.com/favicon.ico)
with open(favicon.ico, wb) as f:f.write(r.content)
这里用了 open 方法它的第一个参数是文件名称第二个参数代表以二进制写的形式打开可以向文件里写入二进制数据。
运行结束之后可以发现在文件夹中出现了名为 favicon.ico 的图标如图所示。 同样地音频和视频文件也可以用这种方法获取。
添加 headers
与 urllib.request 一样我们也可以通过 headers 参数来传递头信息。
比如在上面 “知乎” 的例子中如果不传递 headers就不能正常请求
import requestsr requests.get(https://www.zhihu.com/explore)
print(r.text)
运行结果如下
htmlbodyh1500 Server Error/h1
An internal server error occured.
/body/html
但如果加上 headers 并加上 User-Agent 信息那就没问题了
import requestsheaders {User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36
}
r requests.get(https://www.zhihu.com/explore, headersheaders)
print(r.text)
当然我们可以在 headers 这个参数中任意添加其他的字段信息。
4. POST 请求
前面我们了解了最基本的 GET 请求另外一种比较常见的请求方式是 POST。使用 requests 实现 POST 请求同样非常简单示例如下
import requestsdata {name: germey, age: 22}
r requests.post(http://httpbin.org/post, datadata)
print(r.text)
这里还是请求 http://httpbin.org/post该网站可以判断如果请求是 POST 方式就把相关请求信息返回。
运行结果如下
{args: {}, data: ,files: {},form: {age:22,name:germey},headers: {Accept:*/*,Accept-Encoding:gzip, deflate,Content-Length:18,Content-Type:application/x-www-form-urlencoded,Host:httpbin.org,User-Agent:python-requests/2.10.0},json: null,origin:182.33.248.131,url:http://httpbin.org/post}可以发现我们成功获得了返回结果其中 form 部分就是提交的数据这就证明 POST 请求成功发送了。#### 5. 响应发送请求后得到的自然就是响应。在上面的实例中我们使用 text 和 content 获取了响应的内容。此外还有很多属性和方法可以用来获取其他信息比如状态码、响应头、Cookies 等。示例如下python
import requestsr requests.get(http://www.jianshu.com)
print(type(r.status_code), r.status_code)
print(type(r.headers), r.headers)
print(type(r.cookies), r.cookies)
print(type(r.url), r.url)
print(type(r.history), r.history)
这里分别打印输出 status_code 属性得到状态码输出 headers 属性得到响应头输出 cookies 属性得到 Cookies输出 url 属性得到 URL输出 history 属性得到请求历史。
运行结果如下
class int 200
class requests.structures.CaseInsensitiveDict {X-Runtime: 0.006363, Connection: keep-alive, Content-Type: text/html; charsetutf-8, X-Content-Type-Options: nosniff, Date: Sat, 27 Aug 2016 17:18:51 GMT, Server: nginx, X-Frame-Options: DENY, Content-Encoding: gzip, Vary: Accept-Encoding, ETag: W/3abda885e0e123bfde06d9b61e696159, X-XSS-Protection: 1; modeblock, X-Request-Id: a8a3c4d5-f660-422f-8df9-49719dd9b5d4, Transfer-Encoding: chunked, Set-Cookie: read_modeday; path/, default_fontfont2; path/, _session_idxxx; path/; HttpOnly, Cache-Control: max-age0, private, must-revalidate}
class requests.cookies.RequestsCookieJar RequestsCookieJar[Cookie _session_idxxx for www.jianshu.com/, Cookie default_fontfont2 for www.jianshu.com/, Cookie read_modeday for www.jianshu.com/]
classstr http://www.jianshu.com/
class list []
因为 session_id 过长在此简写。可以看到headers 和 cookies 这两个属性得到的结果分别是 CaseInsensitiveDict 和 RequestsCookieJar 类型。
状态码常用来判断请求是否成功而 requests 还提供了一个内置的状态码查询对象 requests.codes示例如下
import requestsr requests.get(http://www.jianshu.com)
exit() if not r.status_code requests.codes.ok else print(Request Successfully)
这里通过比较返回码和内置的成功的返回码来保证请求得到了正常响应输出成功请求的消息否则程序终止这里我们用 requests.codes.ok 得到的是成功的状态码 200。
那么肯定不能只有 ok 这个条件码。下面列出了返回码和相应的查询条件
# 信息性状态码
100: (continue,),
101: (switching_protocols,),
102: (processing,),
103: (checkpoint,),
122: (uri_too_long, request_uri_too_long), # 成功状态码
200: (ok, okay, all_ok, all_okay, all_good, \\o/, ✓),
201: (created,),
202: (accepted,),
203: (non_authoritative_info, non_authoritative_information),
204: (no_content,),
205: (reset_content, reset),
206: (partial_content, partial),
207: (multi_status, multiple_status, multi_stati, multiple_stati),
208: (already_reported,),
226: (im_used,), # 重定向状态码
300: (multiple_choices,),
301: (moved_permanently, moved, \\o-),
302: (found,),
303: (see_other, other),
304: (not_modified,),
305: (use_proxy,),
306: (switch_proxy,),
307: (temporary_redirect, temporary_moved, temporary),
308: (permanent_redirect, resume_incomplete, resume,), # These 2 to be removed in 3.0 # 客户端错误状态码
400: (bad_request, bad),
401: (unauthorized,),
402: (payment_required, payment),
403: (forbidden,),
404: (not_found, -o-),
405: (method_not_allowed, not_allowed),
406: (not_acceptable,),
407: (proxy_authentication_required, proxy_auth, proxy_authentication),
408: (request_timeout, timeout),
409: (conflict,),
410: (gone,),
411: (length_required,),
412: (precondition_failed, precondition),
413: (request_entity_too_large,),
414: (request_uri_too_large,),
415: (unsupported_media_type, unsupported_media, media_type),
416: (requested_range_not_satisfiable, requested_range, range_not_satisfiable),
417: (expectation_failed,),
418: (im_a_teapot, teapot, i_am_a_teapot),
421: (misdirected_request,),
422: (unprocessable_entity, unprocessable),
423: (locked,),
424: (failed_dependency, dependency),
425: (unordered_collection, unordered),
426: (upgrade_required, upgrade),
428: (precondition_required, precondition),
429: (too_many_requests, too_many),
431: (header_fields_too_large, fields_too_large),
444: (no_response, none),
449: (retry_with, retry),
450: (blocked_by_windows_parental_controls, parental_controls),
451: (unavailable_for_legal_reasons, legal_reasons),
499: (client_closed_request,), # 服务端错误状态码
500: (internal_server_error, server_error, /o\\, ✗),
501: (not_implemented,),
502: (bad_gateway,),
503: (service_unavailable, unavailable),
504: (gateway_timeout,),
505: (http_version_not_supported, http_version),
506: (variant_also_negotiates,),
507: (insufficient_storage,),
509: (bandwidth_limit_exceeded, bandwidth),
510: (not_extended,),
511: (network_authentication_required, network_auth, network_authentication)
比如如果想判断结果是不是 404 状态可以用 requests.codes.not_found 来比对。
高级用法
在前一节中我们了解了 requests 的基本用法如基本的 GET、POST 请求以及 Response 对象。本节中我们再来了解下 requests 的一些高级用法如文件上传、Cookies 设置、代理设置等。
1. 文件上传
我们知道 requests 可以模拟提交一些数据。假如有的网站需要上传文件我们也可以用它来实现这非常简单示例如下
import requestsfiles {file: open(favicon.ico, rb)}
r requests.post(http://httpbin.org/post, filesfiles)
print(r.text)
在前一节中我们保存了一个文件 favicon.ico这次用它来模拟文件上传的过程。需要注意的是favicon.ico 需要和当前脚本在同一目录下。如果有其他文件当然也可以使用其他文件来上传更改下代码即可。
运行结果如下
{args: {}, data: ,files: {file:data:application/octet-stream;base64,AAAAAA...},form: {},headers: {Accept:*/*,Accept-Encoding:gzip, deflate,Content-Length:6665,Content-Type:multipart/form-data; boundary809f80b1a2974132b133ade1a8e8e058,Host:httpbin.org,User-Agent:python-requests/2.10.0},json: null,origin:60.207.237.16,url:http://httpbin.org/post}以上省略部分内容这个网站会返回响应里面包含 files 这个字段而 form 字段是空的这证明文件上传部分会单独有一个 files 字段来标识。#### 2. Cookies
前面我们使用 urllib 处理过 Cookies写法比较复杂而有了 requests获取和设置 Cookies 只需一步即可完成。我们先用一个实例看一下获取 Cookies 的过程python
import requestsr requests.get(https://www.baidu.com)
print(r.cookies)
for key, value in r.cookies.items():print(key value)
运行结果如下
RequestsCookieJar[Cookie BDORZ27315 for .baidu.com/, Cookie __bsi13533594356813414194_00_14_N_N_2_0303_C02F_N_N_N_0 for .www.baidu.com/]
BDORZ27315
__bsi13533594356813414194_00_14_N_N_2_0303_C02F_N_N_N_0
这里我们首先调用 cookies 属性即可成功得到 Cookies可以发现它是 RequestCookieJar 类型。然后用 items 方法将其转化为元组组成的列表遍历输出每一个 Cookie 的名称和值实现 Cookie 的遍历解析。
当然我们也可以直接用 Cookie 来维持登录状态下面以知乎为例来说明。首先登录知乎将 Headers 中的 Cookie 内容复制下来如图所示。 这里可以替换成你自己的 Cookie将其设置到 Headers 里面然后发送请求示例如下
import requestsheaders {Cookie: q_c131653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc|1474273938; __utmv51854390.100-1|2registration_date201309021^3entry_date201309021;a_t2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCynnycerLQ3gIkoJLOCQ;z_c0Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0,Host: www.zhihu.com,User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36,
}
r requests.get(https://www.zhihu.com, headersheaders)
print(r.text)
我们发现结果中包含了登录后的结果如图所示这证明登录成功。 当然你也可以通过 cookies 参数来设置不过这样就需要构造 RequestsCookieJar 对象而且需要分割一下 cookies。这相对烦琐不过效果是相同的示例如下
import requestscookies q_c131653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc|1474273938; __utmv51854390.100-1|2registration_date201309021^3entry_date201309021;a_t2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCynnycerLQ3gIkoJLOCQ;z_c0Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0
jar requests.cookies.RequestsCookieJar()
headers {Host: www.zhihu.com,User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36
}
for cookie in cookies.split(;):key, value cookie.split(, 1)jar.set(key, value)
r requests.get(http://www.zhihu.com, cookiesjar, headersheaders)
print(r.text)
这里我们首先新建了一个 RequestCookieJar 对象然后将复制下来的 cookies 利用 split 方法分割接着利用 set 方法设置好每个 Cookie 的 key 和 value然后通过调用 requests 的 get() 方法并传递给 cookies 参数即可。当然由于知乎本身的限制headers 参数也不能少只不过不需要在原来的 headers 参数里面设置 cookie 字段了。
测试后发现同样可以正常登录知乎。
3. 会话维持
在 requests 中如果直接利用 get 或 post 等方法的确可以做到模拟网页的请求但是这实际上是相当于不同的会话也就是说相当于你用了两个浏览器打开了不同的页面。
设想这样一个场景第一个请求利用 post 方法登录了某个网站第二次想获取成功登录后的自己的个人信息你又用了一次 get 方法去请求个人信息页面。实际上这相当于打开了两个浏览器是两个完全不相关的会话能成功获取个人信息吗那当然不能。
有小伙伴可能说了我在两次请求时设置一样的 cookies 不就行了可以但这样做起来显得很烦琐我们有更简单的解决方法。
其实解决这个问题的主要方法就是维持同一个会话也就是相当于打开一个新的浏览器选项卡而不是新开一个浏览器。但是我又不想每次设置 cookies那该怎么办呢这时候就有了新的利器 ——Session 对象。
利用它我们可以方便地维护一个会话而且不用担心 cookies 的问题它会帮我们自动处理好。示例如下
import requestsrequests.get(http://httpbin.org/cookies/set/number/123456789)
r requests.get(http://httpbin.org/cookies)
print(r.text)
这里我们请求了一个测试网址 http://httpbin.org/cookies/set/number/123456789。请求这个网址时可以设置一个 cookie名称叫作 number内容是 123456789随后又请求了 http://httpbin.org/cookies此网址可以获取当前的 Cookies。
这样能成功获取到设置的 Cookies 吗试试看。
运行结果如下
{cookies: {} }
这并不行。我们再用 Session 试试看
import requestss requests.Session()
s.get(http://httpbin.org/cookies/set/number/123456789)
r s.get(http://httpbin.org/cookies)
print(r.text)
再看下运行结果
{cookies: {number: 123456789}
}
成功获取这下能体会到同一个会话和不同会话的区别了吧
所以利用 Session可以做到模拟同一个会话而不用担心 Cookies 的问题。它通常用于模拟登录成功之后再进行下一步的操作。
Session 在平常用得非常广泛可以用于模拟在一个浏览器中打开同一站点的不同页面后面会有专门的章节来讲解这部分内容。
4. SSL 证书验证
此外requests 还提供了证书验证的功能。当发送 HTTP 请求的时候它会检查 SSL 证书我们可以使用 verify 参数控制是否检查此证书。其实如果不加 verify 参数的话默认是 True会自动验证。
前面我们提到过12306 的证书没有被官方 CA 机构信任会出现证书验证错误的结果。我们现在访问它都可以看到一个证书问题的页面如图所示。
错误页面 现在我们用 requests 来测试一下
import requestsresponse requests.get(https://www.12306.cn)
print(response.status_code)
运行结果如下
requests.exceptions.SSLError: (bad handshake: Error([(SSL routines, tls_process_server_certificate, certificate verify failed)],),)
这里提示一个错误 SSLError表示证书验证错误。所以如果请求一个 HTTPS 站点但是证书验证错误的页面时就会报这样的错误那么如何避免这个错误呢很简单把 verify 参数设置为 False 即可。相关代码如下
import requestsresponse requests.get(https://www.12306.cn, verifyFalse)
print(response.status_code)
这样就会打印出请求成功的状态码
/usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:852: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warningsInsecureRequestWarning)
200
不过我们发现报了一个警告它建议我们给它指定证书。我们可以通过设置忽略警告的方式来屏蔽这个警告
import requests
from requests.packages import urllib3urllib3.disable_warnings()
response requests.get(https://www.12306.cn, verifyFalse)
print(response.status_code)
或者通过捕获警告到日志的方式忽略警告
import logging
import requests
logging.captureWarnings(True)
response requests.get(https://www.12306.cn, verifyFalse)
print(response.status_code)
当然我们也可以指定一个本地证书用作客户端证书这可以是单个文件包含密钥和证书或一个包含两个文件路径的元组
import requestsresponse requests.get(https://www.12306.cn, cert(/path/server.crt, /path/key))
print(response.status_code)
当然上面的代码是演示实例我们需要有 crt 和 key 文件并且指定它们的路径。注意本地私有证书的 key 必须是解密状态加密状态的 key 是不支持的。
5. 代理设置
对于某些网站在测试的时候请求几次能正常获取内容。但是一旦开始大规模爬取对于大规模且频繁的请求网站可能会弹出验证码或者跳转到登录认证页面更甚者可能会直接封禁客户端的 IP导致一定时间段内无法访问。
那么为了防止这种情况发生我们需要设置代理来解决这个问题这就需要用到 proxies 参数。可以用这样的方式设置
import requestsproxies {http: http://10.10.1.10:3128,https: http://10.10.1.10:1080,
}requests.get(https://www.taobao.com, proxiesproxies)
当然直接运行这个实例可能不行因为这个代理可能是无效的请换成自己的有效代理试验一下。
若代理需要使用 HTTP Basic Auth可以使用类似 http://user:passwordhost:port 这样的语法来设置代理示例如下
import requestsproxies {https: http://user:password10.10.1.10:3128/,}
requests.get(https://www.taobao.com, proxiesproxies)
除了基本的 HTTP 代理外requests 还支持 SOCKS 协议的代理。
首先需要安装 socks 这个库
pip3 installrequests[socks]
然后就可以使用 SOCKS 协议代理了示例如下
import requestsproxies {http: socks5://user:passwordhost:port,https: socks5://user:passwordhost:port
}
requests.get(https://www.taobao.com, proxiesproxies)
6. 超时设置
在本机网络状况不好或者服务器网络响应太慢甚至无响应时我们可能会等待特别久的时间才可能收到响应甚至到最后收不到响应而报错。为了防止服务器不能及时响应应该设置一个超时时间即超过了这个时间还没有得到响应那就报错。这需要用到 timeout 参数。这个时间的计算是发出请求到服务器返回响应的时间。示例如下
import requestsr requests.get(https://www.taobao.com, timeout1)
print(r.status_code)
通过这样的方式我们可以将超时时间设置为 1 秒如果 1 秒内没有响应那就抛出异常。
实际上请求分为两个阶段即连接connect和读取read。
上面设置的 timeout 将用作连接和读取这二者的 timeout 总和。
如果要分别指定就可以传入一个元组
r requests.get(https://www.taobao.com, timeout(5, 30))
如果想永久等待可以直接将 timeout 设置为 None或者不设置直接留空因为默认是 None。这样的话如果服务器还在运行但是响应特别慢那就慢慢等吧它永远不会返回超时错误的。其用法如下
r requests.get(https://www.taobao.com, timeoutNone)
或直接不加参数
r requests.get(https://www.taobao.com)
7. 身份认证
在访问网站时我们可能会遇到这样的认证页面如图所示。
认证页面 此时可以使用 requests 自带的身份认证功能示例如下
import requests
from requests.auth import HTTPBasicAuth r requests.get(http://localhost:5000, authHTTPBasicAuth(username, password))
print(r.status_code)
如果用户名和密码正确的话请求时就会自动认证成功会返回 200 状态码如果认证失败则返回 401 状态码。
当然如果参数都传一个 HTTPBasicAuth 类就显得有点烦琐了所以 requests 提供了一个更简单的写法可以直接传一个元组它会默认使用 HTTPBasicAuth 这个类来认证。
所以上面的代码可以直接简写如下
import requestsr requests.get(http://localhost:5000, auth(username, password))
print(r.status_code)
此外requests 还提供了其他认证方式如 OAuth 认证不过此时需要安装 oauth 包安装命令如下
pip3 install requests_oauthlib
使用 OAuth1 认证的方法如下
import requests
from requests_oauthlib import OAuth1url https://api.twitter.com/1.1/account/verify_credentials.json
auth OAuth1(YOUR_APP_KEY, YOUR_APP_SECRET,USER_OAUTH_TOKEN, USER_OAUTH_TOKEN_SECRET)
requests.get(url, authauth)
更多详细的功能就可以参考 requests_oauthlib 的官方文档Requests-OAuthlib: OAuth for Humans — Requests-OAuthlib 1.3.1 documentation在此就不再赘述了。
8. Prepared Request
前面介绍 urllib 时我们可以将请求表示为数据结构其中各个参数都可以通过一个 Request 对象来表示。这在 requests 里同样可以做到这个数据结构就叫 Prepared Request。我们用实例看一下
from requests import Request, Sessionurl http://httpbin.org/post
data {name: germey}
headers {User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36
}
s Session()
req Request(POST, url, datadata, headersheaders)
prepped s.prepare_request(req)
r s.send(prepped)
print(r.text)
这里我们引入了 Request然后用 url、data 和 headers 参数构造了一个 Request 对象这时需要再调用 Session 的 prepare_request 方法将其转换为一个 Prepared Request 对象然后调用 send 方法发送即可运行结果如下
{args: {}, data: ,files: {},form: {name:germey},headers: {Accept:*/*,Accept-Encoding:gzip, deflate,Connection:close,Content-Length:11,Content-Type:application/x-www-form-urlencoded,Host:httpbin.org,User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36},json: null,origin:182.32.203.166,url:http://httpbin.org/post}
可以看到我们达到了同样的 POST 请求效果。
有了 Request 这个对象就可以将请求当作独立的对象来看待这样在进行队列调度时会非常方便。后面我们会用它来构造一个 Request 队列。
本节讲解了 requests 的一些高级用法这些用法在后面实战部分会经常用到需要熟练掌握。
更多的用法可以参考 Requests 的官方文档[http://docs.python-requests.org/](http://docs.python-requests.org/)。 如果本文对你有帮助不要忘记点赞收藏 关注
我会持续更新更多Python、Java相关好文 文章转载自： http://www.morning.fmtfj.cn.gov.cn.fmtfj.cn http://www.morning.qyjqj.cn.gov.cn.qyjqj.cn http://www.morning.wkws.cn.gov.cn.wkws.cn http://www.morning.zlnkq.cn.gov.cn.zlnkq.cn http://www.morning.syznh.cn.gov.cn.syznh.cn http://www.morning.zmnyj.cn.gov.cn.zmnyj.cn http://www.morning.lokext.com.gov.cn.lokext.com http://www.morning.lkwyr.cn.gov.cn.lkwyr.cn http://www.morning.lmjtp.cn.gov.cn.lmjtp.cn http://www.morning.kklwz.cn.gov.cn.kklwz.cn http://www.morning.tkztx.cn.gov.cn.tkztx.cn http://www.morning.trfrl.cn.gov.cn.trfrl.cn http://www.morning.lclpj.cn.gov.cn.lclpj.cn http://www.morning.mgkb.cn.gov.cn.mgkb.cn http://www.morning.nrqtk.cn.gov.cn.nrqtk.cn http://www.morning.gqksd.cn.gov.cn.gqksd.cn http://www.morning.cpfx.cn.gov.cn.cpfx.cn http://www.morning.kgxrq.cn.gov.cn.kgxrq.cn http://www.morning.jzykw.cn.gov.cn.jzykw.cn http://www.morning.jbtlf.cn.gov.cn.jbtlf.cn http://www.morning.bnrnb.cn.gov.cn.bnrnb.cn http://www.morning.nhlnh.cn.gov.cn.nhlnh.cn http://www.morning.nrtpb.cn.gov.cn.nrtpb.cn http://www.morning.nnhfz.cn.gov.cn.nnhfz.cn http://www.morning.rjljb.cn.gov.cn.rjljb.cn http://www.morning.ftcrt.cn.gov.cn.ftcrt.cn http://www.morning.qmncj.cn.gov.cn.qmncj.cn http://www.morning.zfrs.cn.gov.cn.zfrs.cn http://www.morning.gfqjf.cn.gov.cn.gfqjf.cn http://www.morning.gwqcr.cn.gov.cn.gwqcr.cn http://www.morning.zlnmm.cn.gov.cn.zlnmm.cn http://www.morning.kzcfr.cn.gov.cn.kzcfr.cn http://www.morning.wypyl.cn.gov.cn.wypyl.cn http://www.morning.kzcfp.cn.gov.cn.kzcfp.cn http://www.morning.zqmdn.cn.gov.cn.zqmdn.cn http://www.morning.rbktw.cn.gov.cn.rbktw.cn http://www.morning.jrlgz.cn.gov.cn.jrlgz.cn http://www.morning.cqwb25.cn.gov.cn.cqwb25.cn http://www.morning.psdbf.cn.gov.cn.psdbf.cn http://www.morning.qjrjs.cn.gov.cn.qjrjs.cn http://www.morning.jfwrf.cn.gov.cn.jfwrf.cn http://www.morning.qnjcx.cn.gov.cn.qnjcx.cn http://www.morning.jrqbr.cn.gov.cn.jrqbr.cn http://www.morning.wncb.cn.gov.cn.wncb.cn http://www.morning.wschl.cn.gov.cn.wschl.cn http://www.morning.myzfz.com.gov.cn.myzfz.com http://www.morning.lwzpp.cn.gov.cn.lwzpp.cn http://www.morning.gcrlb.cn.gov.cn.gcrlb.cn http://www.morning.dspqc.cn.gov.cn.dspqc.cn http://www.morning.rjbb.cn.gov.cn.rjbb.cn http://www.morning.nbqwr.cn.gov.cn.nbqwr.cn http://www.morning.pamdeer.com.gov.cn.pamdeer.com http://www.morning.fosfox.com.gov.cn.fosfox.com http://www.morning.xykst.cn.gov.cn.xykst.cn http://www.morning.kzcfr.cn.gov.cn.kzcfr.cn http://www.morning.nwfpl.cn.gov.cn.nwfpl.cn http://www.morning.xlmgq.cn.gov.cn.xlmgq.cn http://www.morning.lhzqn.cn.gov.cn.lhzqn.cn http://www.morning.brwwr.cn.gov.cn.brwwr.cn http://www.morning.mfqmk.cn.gov.cn.mfqmk.cn http://www.morning.wknbc.cn.gov.cn.wknbc.cn http://www.morning.rflcy.cn.gov.cn.rflcy.cn http://www.morning.wspyb.cn.gov.cn.wspyb.cn http://www.morning.qsy39.cn.gov.cn.qsy39.cn http://www.morning.lqgtx.cn.gov.cn.lqgtx.cn http://www.morning.yqgny.cn.gov.cn.yqgny.cn http://www.morning.jcrfm.cn.gov.cn.jcrfm.cn http://www.morning.mbmtn.cn.gov.cn.mbmtn.cn http://www.morning.qcrhb.cn.gov.cn.qcrhb.cn http://www.morning.pfnrj.cn.gov.cn.pfnrj.cn http://www.morning.rhph.cn.gov.cn.rhph.cn http://www.morning.nqlx.cn.gov.cn.nqlx.cn http://www.morning.wjtxt.cn.gov.cn.wjtxt.cn http://www.morning.lxjxl.cn.gov.cn.lxjxl.cn http://www.morning.ymhzd.cn.gov.cn.ymhzd.cn http://www.morning.fnpyk.cn.gov.cn.fnpyk.cn http://www.morning.spsqr.cn.gov.cn.spsqr.cn http://www.morning.plqkz.cn.gov.cn.plqkz.cn http://www.morning.xinyishufa.cn.gov.cn.xinyishufa.cn http://www.morning.znqmh.cn.gov.cn.znqmh.cn
