烘焙食品网站建设需求分析,仿京东电商的网站开发报价,邢台网站优化服务平台,wordpress预格式化处理更高级操作时(Cookies处理#xff0c;代理设置)#xff0c;需要一个强大的工具Handler#xff0c;可以理解成各种处理器#xff0c;有处理登录认证的、有处理Cookies的、有处理代理设置的。利用这些几乎可以做到HTTP请求中所有事情。当中urllib.request模块里的 BaseHa…处理更高级操作时(Cookies处理代理设置)需要一个强大的工具Handler可以理解成各种处理器有处理登录认证的、有处理Cookies的、有处理代理设置的。利用这些几乎可以做到HTTP请求中所有事情。当中urllib.request模块里的 BaseHandler类是所有其他Handler的父类提供了最基本的方法。如default_open()、protocol_request()等。HTTPdefaultErrorHandler: 用于处理HTTP响应错误错误会抛出HTTPError类型异常
HTTPRedirectHandler: 用于处理重定向
HTTPCookieProcessor: 用于处理Cookies
ProxyHandler: 用于设置代理默认为空
HTTPPasswordMgr: 用于管理密码维护了用户名和密码的表
HTTPBacisAuthHandler: 用于管理认证弱一个链接打开需要认证可以用它解决认证问题代理ProxyHandler的使用代理的常用功能突破自身ip访问限制访问国外站点。访问一些单位或团体内部资源。提高访问速度 通常代理服务器都设置一个较大的硬盘缓冲区当有外界信息通过时同时也将其保存到缓冲区。浏览器向代理服务器发出请求当代理服务器接收请求信息号再由代理服务器来取回浏览器所需要的信息并传送给终端用户的浏览器。隐藏真实ip免受攻击。from http.client import HTTPResponse
from urllib import request
from urllib.request import ProxyHandler, Requesturl http://httpbin.org/ip
headers [(User-Agent,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36)]
username YOUR_USERNAME
password YOUR_PASSWORD
ip YOUR_IP # 例127.0.0.1
port 66666 # 例30000
ip_port f{ip}:{port}
handler ProxyHandler({http: fhttp://{username}:{password}{ip_port}})
opener request.build_opener(handler)
opener.addheaders headers
response opener.open(url) # type: HTTPResponseprint(response.read().decode(utf-8))另一个常用类OpenerDirector也叫Openerurlopen()就可以看做是urllib提供的一个Opener。前面的Rquest和urlopen相当于类库封装好的常用的请求方法可以完成基本的请求但要实现更高级操作需要深入一层配置。所以需要用到Opener。Cookies获取CookieJar类的子类CookieJar管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中对CookieJar实例进行垃圾回收后cookie也将丢失。FileCookieJar从CookieJar派生而来用来创建FileCookieJar实例检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件即只有在需要时才读取文件或在文件中存储数据。MozillaCookieJar从FileCookieJar派生而来创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。LWPCookieJar从FileCookieJar派生而来创建与libwww-perl标准的 Set-Cookie3 文件格式兼容的FileCookieJar实例。from http.client import HTTPResponse
from urllib import request, parse
from urllib.request import Request, HTTPCookieProcessor
from http.cookiejar import CookieJar
from io import BytesIO
import gzipcookiejar CookieJar()login_url https://www.mac123.vip/ajax/login_h.jspheaders {user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36
}data cmdXXXXXXX_loginMemberencryptAcctVVVVVVVVVVVVVVpwd123456789000909090899089089089captchaautoLoginfalsereq Request(login_url, datadata.encode(utf-8), headersheaders)
handler HTTPCookieProcessor(cookiejar)
opener request.build_opener(handler)
response opener.open(req) # type: HTTPResponseprint(response.read().decode(utf-8))
print(response.info().get_content_charset())####################以下代码是查看登录信息的url的页面的获取#######################
info_url https://www.mac123.vip/mCenter.jsp
info_req Request(info_url, headersheaders)
info_response opener.open(info_req) # type: HTTPResponse
data_bytes info_response.read()
bytes BytesIO(data_bytes)
f gzip.GzipFile(fileobjbytes)
print(f.read().decode(utf-8))备注获取登录信息的时候https://www.mac123.vip/ajax/login_h.jsp的请求页面返回是压缩后的页面需要gzip.GzipFile进行解压后进行解码操作。CookieJar之cookie保存本地和读取cookie保存from http.client import HTTPResponse
from urllib import request
from urllib.request import Request, HTTPCookieProcessor
from http.cookiejar import MozillaCookieJarcookiejar MozillaCookieJar(cookie.txt)url http://httpbin.org/cookies/set/course/China
headers {user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36
}
req Request(url, headersheaders)
handler HTTPCookieProcessor(cookiejar)
opener request.build_opener(handler)
response opener.open(req) # type: HTTPResponse
print(response.read().decode(utf-8))
cookiejar.save()发现读取不到原因是因为该接口设置的cookie仅浏览时存储。解决方法是cookiejar.save()将两个参数设置为True即可解决from http.client import HTTPResponse
from urllib import request
from urllib.request import Request, HTTPCookieProcessor
from http.cookiejar import MozillaCookieJarcookiejar MozillaCookieJar(cookie.txt)url http://httpbin.org/cookies/set/course/China
headers {user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36
}
req Request(url, headersheaders)
handler HTTPCookieProcessor(cookiejar)
opener request.build_opener(handler)
response opener.open(req) # type: HTTPResponse
print(response.read().decode(utf-8))
cookiejar.save(ignore_discardTrue, ignore_expiresTrue)
文章转载自： http://www.morning.zpstm.cn.gov.cn.zpstm.cn http://www.morning.nwmwp.cn.gov.cn.nwmwp.cn http://www.morning.rwjfs.cn.gov.cn.rwjfs.cn http://www.morning.yjdql.cn.gov.cn.yjdql.cn http://www.morning.bpmnz.cn.gov.cn.bpmnz.cn http://www.morning.wyjhq.cn.gov.cn.wyjhq.cn http://www.morning.wynnb.cn.gov.cn.wynnb.cn http://www.morning.guangda11.cn.gov.cn.guangda11.cn http://www.morning.cczzyy.com.gov.cn.cczzyy.com http://www.morning.gwsfq.cn.gov.cn.gwsfq.cn http://www.morning.nhrkc.cn.gov.cn.nhrkc.cn http://www.morning.cwcdr.cn.gov.cn.cwcdr.cn http://www.morning.wctqc.cn.gov.cn.wctqc.cn http://www.morning.ltpmy.cn.gov.cn.ltpmy.cn http://www.morning.dxxnq.cn.gov.cn.dxxnq.cn http://www.morning.rgqnt.cn.gov.cn.rgqnt.cn http://www.morning.ctfwl.cn.gov.cn.ctfwl.cn http://www.morning.pttrs.cn.gov.cn.pttrs.cn http://www.morning.dncgb.cn.gov.cn.dncgb.cn http://www.morning.ndtmz.cn.gov.cn.ndtmz.cn http://www.morning.pinngee.com.gov.cn.pinngee.com http://www.morning.tdxlj.cn.gov.cn.tdxlj.cn http://www.morning.jrrqs.cn.gov.cn.jrrqs.cn http://www.morning.ljbch.cn.gov.cn.ljbch.cn http://www.morning.wlggr.cn.gov.cn.wlggr.cn http://www.morning.lmbm.cn.gov.cn.lmbm.cn http://www.morning.tgcw.cn.gov.cn.tgcw.cn http://www.morning.thmlt.cn.gov.cn.thmlt.cn http://www.morning.kstgt.cn.gov.cn.kstgt.cn http://www.morning.yrjkp.cn.gov.cn.yrjkp.cn http://www.morning.xkjrs.cn.gov.cn.xkjrs.cn http://www.morning.woyoua.com.gov.cn.woyoua.com http://www.morning.bpwfr.cn.gov.cn.bpwfr.cn http://www.morning.bwqr.cn.gov.cn.bwqr.cn http://www.morning.lbbyx.cn.gov.cn.lbbyx.cn http://www.morning.rbffj.cn.gov.cn.rbffj.cn http://www.morning.sgnxl.cn.gov.cn.sgnxl.cn http://www.morning.hpkgm.cn.gov.cn.hpkgm.cn http://www.morning.bmlcy.cn.gov.cn.bmlcy.cn http://www.morning.xglgm.cn.gov.cn.xglgm.cn http://www.morning.jwdys.cn.gov.cn.jwdys.cn http://www.morning.rshijie.com.gov.cn.rshijie.com http://www.morning.czcbl.cn.gov.cn.czcbl.cn http://www.morning.xfxlr.cn.gov.cn.xfxlr.cn http://www.morning.knngw.cn.gov.cn.knngw.cn http://www.morning.dwmmf.cn.gov.cn.dwmmf.cn http://www.morning.hytfz.cn.gov.cn.hytfz.cn http://www.morning.knpbr.cn.gov.cn.knpbr.cn http://www.morning.fyglr.cn.gov.cn.fyglr.cn http://www.morning.ydmml.cn.gov.cn.ydmml.cn http://www.morning.jjnql.cn.gov.cn.jjnql.cn http://www.morning.lzph.cn.gov.cn.lzph.cn http://www.morning.ypcbm.cn.gov.cn.ypcbm.cn http://www.morning.lpzqd.cn.gov.cn.lpzqd.cn http://www.morning.gthc.cn.gov.cn.gthc.cn http://www.morning.hcwjls.com.gov.cn.hcwjls.com http://www.morning.sffwz.cn.gov.cn.sffwz.cn http://www.morning.ztmnr.cn.gov.cn.ztmnr.cn http://www.morning.spqbp.cn.gov.cn.spqbp.cn http://www.morning.gkfwp.cn.gov.cn.gkfwp.cn http://www.morning.ktmpw.cn.gov.cn.ktmpw.cn http://www.morning.rmkyb.cn.gov.cn.rmkyb.cn http://www.morning.xkyqq.cn.gov.cn.xkyqq.cn http://www.morning.thzgd.cn.gov.cn.thzgd.cn http://www.morning.rkrl.cn.gov.cn.rkrl.cn http://www.morning.ylyzk.cn.gov.cn.ylyzk.cn http://www.morning.rnzwh.cn.gov.cn.rnzwh.cn http://www.morning.xkzr.cn.gov.cn.xkzr.cn http://www.morning.kmqlf.cn.gov.cn.kmqlf.cn http://www.morning.qztsq.cn.gov.cn.qztsq.cn http://www.morning.ntwxt.cn.gov.cn.ntwxt.cn http://www.morning.tymnr.cn.gov.cn.tymnr.cn http://www.morning.pqsys.cn.gov.cn.pqsys.cn http://www.morning.plflq.cn.gov.cn.plflq.cn http://www.morning.tktyh.cn.gov.cn.tktyh.cn http://www.morning.zlgth.cn.gov.cn.zlgth.cn http://www.morning.mtmph.cn.gov.cn.mtmph.cn http://www.morning.ljqd.cn.gov.cn.ljqd.cn http://www.morning.kqrql.cn.gov.cn.kqrql.cn http://www.morning.xoaz.cn.gov.cn.xoaz.cn
