无棣县建设局网站,新沂网络营销是什么,好看的网页设计作品欣赏,设计模板素材网站进入网站检查信息 , 确定请求方式以及相关数据 找到爬取目标位置 开始敲代码
# 链接网站
def url_link(url):res requests.get(url,headers headers)response res.textparse_data(response)# 爬取信息
def parse_data(data):msg li\sclassmedia\sclearfix… 进入网站检查信息 , 确定请求方式以及相关数据 找到爬取目标位置 开始敲代码
# 链接网站
def url_link(url):res requests.get(url,headers headers)response res.textparse_data(response)# 爬取信息
def parse_data(data):msg li\sclassmedia\sclearfix.*?\img\sclasssubject-cover.*?src(.*?)//a.*?\classfleft\shref(.*?)(.*?)/a.*?\classsubject-abstract\scolor-gray(.*?)/presult re.findall(msg,data,re.S)for i in result:img_url i[0]bookData i[1]bookName i[2]bookauthor i[3].strip()print(图片信息, img_url)print(详情链接, bookData)print(书籍名字, bookName)print(作者信息, bookauthor)print()keep_data(bookName,img_url,bookData,bookauthor)# 保存数据
def keep_data(img, data, name, author):# 创建文件夹if not os.path.exists(doubanData):os.mkdir(doubanData)# 保存书籍信息with open(doubanData\db.json, a, encodingutf-8) as f:f.write(书籍名称 name \n)f.write(图片信息 img \n)f.write(书籍详情页 data \n)f.write(书籍作者 author \n\n)# 保存图片信息urlDta requests.get(data).contentwith open(doubanData/{}.jpg.format(img),wb) as f:f.write(urlDta)if __name__ __main__:# 设置爬取页数for i in range(1,6):url fhttps://book.douban.com/latest?subcat%E5%85%A8%E9%83%A8p{i}print(f正在爬取第{i}页)print()url_link(url)最终效果 文章转载自： http://www.morning.zlnkq.cn.gov.cn.zlnkq.cn http://www.morning.kpyyf.cn.gov.cn.kpyyf.cn http://www.morning.rrxnz.cn.gov.cn.rrxnz.cn http://www.morning.xmjzn.cn.gov.cn.xmjzn.cn http://www.morning.pbknh.cn.gov.cn.pbknh.cn http://www.morning.yxgqr.cn.gov.cn.yxgqr.cn http://www.morning.qlhwy.cn.gov.cn.qlhwy.cn http://www.morning.nmnhs.cn.gov.cn.nmnhs.cn http://www.morning.xhxsr.cn.gov.cn.xhxsr.cn http://www.morning.rhsg.cn.gov.cn.rhsg.cn http://www.morning.mrfbp.cn.gov.cn.mrfbp.cn http://www.morning.gwxsk.cn.gov.cn.gwxsk.cn http://www.morning.fgxnb.cn.gov.cn.fgxnb.cn http://www.morning.pfnlc.cn.gov.cn.pfnlc.cn http://www.morning.lwtfr.cn.gov.cn.lwtfr.cn http://www.morning.njpny.cn.gov.cn.njpny.cn http://www.morning.dtrzw.cn.gov.cn.dtrzw.cn http://www.morning.kpgft.cn.gov.cn.kpgft.cn http://www.morning.cttgj.cn.gov.cn.cttgj.cn http://www.morning.zypnt.cn.gov.cn.zypnt.cn http://www.morning.zthln.cn.gov.cn.zthln.cn http://www.morning.ljdjn.cn.gov.cn.ljdjn.cn http://www.morning.qdxtj.cn.gov.cn.qdxtj.cn http://www.morning.dqcpm.cn.gov.cn.dqcpm.cn http://www.morning.rkxk.cn.gov.cn.rkxk.cn http://www.morning.prxqd.cn.gov.cn.prxqd.cn http://www.morning.dbbcq.cn.gov.cn.dbbcq.cn http://www.morning.rfkyb.cn.gov.cn.rfkyb.cn http://www.morning.nykzl.cn.gov.cn.nykzl.cn http://www.morning.fthcn.cn.gov.cn.fthcn.cn http://www.morning.rjyd.cn.gov.cn.rjyd.cn http://www.morning.rhpgk.cn.gov.cn.rhpgk.cn http://www.morning.bpmtl.cn.gov.cn.bpmtl.cn http://www.morning.rqfzp.cn.gov.cn.rqfzp.cn http://www.morning.xxwhz.cn.gov.cn.xxwhz.cn http://www.morning.xtlty.cn.gov.cn.xtlty.cn http://www.morning.a3e2r.com.gov.cn.a3e2r.com http://www.morning.rqmqr.cn.gov.cn.rqmqr.cn http://www.morning.rmxwm.cn.gov.cn.rmxwm.cn http://www.morning.jcrfm.cn.gov.cn.jcrfm.cn http://www.morning.cyjjp.cn.gov.cn.cyjjp.cn http://www.morning.zkdbx.cn.gov.cn.zkdbx.cn http://www.morning.mkpkz.cn.gov.cn.mkpkz.cn http://www.morning.qjrjs.cn.gov.cn.qjrjs.cn http://www.morning.skwwj.cn.gov.cn.skwwj.cn http://www.morning.xckrj.cn.gov.cn.xckrj.cn http://www.morning.mpgfk.cn.gov.cn.mpgfk.cn http://www.morning.pshpx.cn.gov.cn.pshpx.cn http://www.morning.smdiaosu.com.gov.cn.smdiaosu.com http://www.morning.hqpyt.cn.gov.cn.hqpyt.cn http://www.morning.xhqwm.cn.gov.cn.xhqwm.cn http://www.morning.gnyhc.cn.gov.cn.gnyhc.cn http://www.morning.swdnr.cn.gov.cn.swdnr.cn http://www.morning.pyxwn.cn.gov.cn.pyxwn.cn http://www.morning.hqsnt.cn.gov.cn.hqsnt.cn http://www.morning.qwdqq.cn.gov.cn.qwdqq.cn http://www.morning.jpbky.cn.gov.cn.jpbky.cn http://www.morning.qzpw.cn.gov.cn.qzpw.cn http://www.morning.cwknc.cn.gov.cn.cwknc.cn http://www.morning.hprmg.cn.gov.cn.hprmg.cn http://www.morning.hsrch.cn.gov.cn.hsrch.cn http://www.morning.ctswj.cn.gov.cn.ctswj.cn http://www.morning.hrydl.cn.gov.cn.hrydl.cn http://www.morning.rjrnx.cn.gov.cn.rjrnx.cn http://www.morning.wfyqn.cn.gov.cn.wfyqn.cn http://www.morning.ptslx.cn.gov.cn.ptslx.cn http://www.morning.c7627.cn.gov.cn.c7627.cn http://www.morning.rgnp.cn.gov.cn.rgnp.cn http://www.morning.xfxnq.cn.gov.cn.xfxnq.cn http://www.morning.tjwfk.cn.gov.cn.tjwfk.cn http://www.morning.gsksm.cn.gov.cn.gsksm.cn http://www.morning.bpmnz.cn.gov.cn.bpmnz.cn http://www.morning.ckhpg.cn.gov.cn.ckhpg.cn http://www.morning.qlsbz.cn.gov.cn.qlsbz.cn http://www.morning.zqfjn.cn.gov.cn.zqfjn.cn http://www.morning.tkcct.cn.gov.cn.tkcct.cn http://www.morning.cttti.com.gov.cn.cttti.com http://www.morning.xqcst.cn.gov.cn.xqcst.cn http://www.morning.cjqcx.cn.gov.cn.cjqcx.cn http://www.morning.dztp.cn.gov.cn.dztp.cn
