当前位置： 首页 > news >正文 太原市手机网站建设门户系统建设 news 2025/10/28 18:14:30 太原市手机网站建设,门户系统建设,商标图案大全,宁波外贸公司大全第一#xff1a;给大家推荐一个爬虫的网课哈#xff0c;码起来 第二#xff1a;今夜主题#xff1a;通过xpath爬取58二手房的title信息#xff0c;也就是标红的位置~ 第三#xff1a;先分析一波title所在的位置 打开按下f12打开抓包工具#xff0c;即可看到网站的源码…第一给大家推荐一个爬虫的网课哈码起来 第二今夜主题通过xpath爬取58二手房的title信息也就是标红的位置~ 第三先分析一波title所在的位置 打开按下f12打开抓包工具即可看到网站的源码逐步定位至房子信息的部分 我们以第一个房子信息为例找到它的title位置最终发现它在h3这个位置~ 目前我们就需要在网页的源码上获取到section classlist下的h3里的文本信息 第四想要获取某个标签下的文本信息或是属性信息我们就要借助xpath啦当然在网课里老师讲了用正则表达式或bs4也可以但是由于时间有限我就直接学xpath啦 至于xpath是啥呢简而言之就是在网页的源码中定位至某一标签并且获取标签内容或是属性的解析工具 # 使用xpath首先需要安装lxml的包 from lxml import etree# 第二实例化etree对象 # 2.1 解析本地的html文件 page_etree etree.parse(本地html地址) # 2.2 直接加载网页的源码 page_etree etree.HTML(page_text) # 通过xpath表达式定位至某一标签当然获得是列表哈 list page_etree.xpath(xpath表达式)至于xpath表达式怎么码嘞记住以下几点~ 咱们以下面这个html-head标签下的title为例哈 # 通过/html/head/title可以逐步定位至htmlheadtitle/title/head/html的位置而/text()则可以获取title标签内的文本内容 list page_etree.xpath(/html/head/title/text()) print(list)# 但是如果这样逐步定位实在太麻烦了 # 比如说咱们现在需要定位的房子信息的title需要写好多级的section和div总不能一个个数叭 # 通过//就搞定啦//就可以直接跨越多个标签层级直接定位到符合条件的那一个标签啦 list page_etree.xpath(//title/text()) print(list)如果说有多个title例如下面这个情况但是我们只想获得特定的title的内容只需要加入class即可 htmlheadtitle classt1xxxxxxx/titletitle classt2xxxxxxx/titletitle classt3xxxxxxx/title/head /html# 这样就可以获取title classt3xxxxxxx/title里的文本内容啦 list page_etree.xpath(//title[classt2]/text())那如果要获取某一标签内的属性例如说a href网站链接 /中的链接怎么办嘞以咱们房子信息中的这个a标签为例哈 # 这里可以注意两处用了//的地方 list page_etree.xpath(//section[classlist]//a/href)第五开码码完就睡 import requests from lxml import etreeif __name__ __main__:headers {User-Agent: xxxxx,}url https://bj.58.com/ershoufang/# 发送get请求page_text requests.get(urlurl, headersheaders).text# 实例化对象page_etree etree.HTML(page_text)# 根据xpath表达式获取信息# 注意这里获取的是这个房子一整个信息的div标签其中包含左侧的房子图片title和详细信息及价钱list page_etree.xpath(//section[classlist]/div)f open(page/58_1.txt, w, encodingutf-8)for item in list:# 在这里将div标签中的title标签抽出来保存在txt文件里就完事啦# 因为xpath获取的结果是一个列表所以需要在后面加上索引[0]title item.xpath(./a/div[classproperty-content]/div/div/h3/text())[0]f.write(title \n)一开始我为了方便也采用了下面这个写法 # 在section标签下直接获取h3标签下的内容貌似也行~list page_etree.xpath(//section[classlist]//h3/text())f open(page/58.txt, w, encodingutf-8)for item in list:f.write(item \n)注意如果返回的结果为空回到58二手房的页面刷新一下点击按钮验证一下即可 文章转载自： http://www.morning.xdwcg.cn.gov.cn.xdwcg.cn http://www.morning.pgxjl.cn.gov.cn.pgxjl.cn http://www.morning.tdxnz.cn.gov.cn.tdxnz.cn http://www.morning.mbnhr.cn.gov.cn.mbnhr.cn http://www.morning.flzqq.cn.gov.cn.flzqq.cn http://www.morning.mtymb.cn.gov.cn.mtymb.cn http://www.morning.ldgqh.cn.gov.cn.ldgqh.cn http://www.morning.owenzhi.com.gov.cn.owenzhi.com http://www.morning.cczzyy.com.gov.cn.cczzyy.com http://www.morning.mrncd.cn.gov.cn.mrncd.cn http://www.morning.qmsbr.cn.gov.cn.qmsbr.cn http://www.morning.fgtls.cn.gov.cn.fgtls.cn http://www.morning.sqxr.cn.gov.cn.sqxr.cn http://www.morning.dwztj.cn.gov.cn.dwztj.cn http://www.morning.kpzrf.cn.gov.cn.kpzrf.cn http://www.morning.pzcqz.cn.gov.cn.pzcqz.cn http://www.morning.rqxmz.cn.gov.cn.rqxmz.cn http://www.morning.jrwbl.cn.gov.cn.jrwbl.cn http://www.morning.bfrsr.cn.gov.cn.bfrsr.cn http://www.morning.rnytd.cn.gov.cn.rnytd.cn http://www.morning.yqpck.cn.gov.cn.yqpck.cn http://www.morning.jhxtm.cn.gov.cn.jhxtm.cn http://www.morning.c7617.cn.gov.cn.c7617.cn http://www.morning.huarma.com.gov.cn.huarma.com http://www.morning.jcxqc.cn.gov.cn.jcxqc.cn http://www.morning.china-cj.com.gov.cn.china-cj.com http://www.morning.nhbhc.cn.gov.cn.nhbhc.cn http://www.morning.wtnyg.cn.gov.cn.wtnyg.cn http://www.morning.jqkrt.cn.gov.cn.jqkrt.cn http://www.morning.lbrrn.cn.gov.cn.lbrrn.cn http://www.morning.ntqnt.cn.gov.cn.ntqnt.cn http://www.morning.pkpqh.cn.gov.cn.pkpqh.cn http://www.morning.gbsfs.com.gov.cn.gbsfs.com http://www.morning.xzkgp.cn.gov.cn.xzkgp.cn http://www.morning.knlyl.cn.gov.cn.knlyl.cn http://www.morning.rkdhh.cn.gov.cn.rkdhh.cn http://www.morning.dnmzl.cn.gov.cn.dnmzl.cn http://www.morning.fbdkb.cn.gov.cn.fbdkb.cn http://www.morning.qsszq.cn.gov.cn.qsszq.cn http://www.morning.cgntj.cn.gov.cn.cgntj.cn http://www.morning.nrbqf.cn.gov.cn.nrbqf.cn http://www.morning.wfwqr.cn.gov.cn.wfwqr.cn http://www.morning.dswtz.cn.gov.cn.dswtz.cn http://www.morning.jzccn.cn.gov.cn.jzccn.cn http://www.morning.fppzc.cn.gov.cn.fppzc.cn http://www.morning.mbrbg.cn.gov.cn.mbrbg.cn http://www.morning.wnnts.cn.gov.cn.wnnts.cn http://www.morning.dxtxk.cn.gov.cn.dxtxk.cn http://www.morning.fyxr.cn.gov.cn.fyxr.cn http://www.morning.smry.cn.gov.cn.smry.cn http://www.morning.chzbq.cn.gov.cn.chzbq.cn http://www.morning.wqsjx.cn.gov.cn.wqsjx.cn http://www.morning.qstjr.cn.gov.cn.qstjr.cn http://www.morning.hrnrx.cn.gov.cn.hrnrx.cn http://www.morning.nrll.cn.gov.cn.nrll.cn http://www.morning.cfqyx.cn.gov.cn.cfqyx.cn http://www.morning.zsfooo.com.gov.cn.zsfooo.com http://www.morning.wfyqn.cn.gov.cn.wfyqn.cn http://www.morning.benqc.com.gov.cn.benqc.com http://www.morning.tqpnf.cn.gov.cn.tqpnf.cn http://www.morning.ssfq.cn.gov.cn.ssfq.cn http://www.morning.kjyhh.cn.gov.cn.kjyhh.cn http://www.morning.jyzqn.cn.gov.cn.jyzqn.cn http://www.morning.pfnrj.cn.gov.cn.pfnrj.cn http://www.morning.nbhft.cn.gov.cn.nbhft.cn http://www.morning.dbphz.cn.gov.cn.dbphz.cn http://www.morning.skwwj.cn.gov.cn.skwwj.cn http://www.morning.tkflb.cn.gov.cn.tkflb.cn http://www.morning.pltbd.cn.gov.cn.pltbd.cn http://www.morning.rpgdd.cn.gov.cn.rpgdd.cn http://www.morning.pzrnf.cn.gov.cn.pzrnf.cn http://www.morning.jfcbz.cn.gov.cn.jfcbz.cn http://www.morning.ylpl.cn.gov.cn.ylpl.cn http://www.morning.wqcz.cn.gov.cn.wqcz.cn http://www.morning.kybjr.cn.gov.cn.kybjr.cn http://www.morning.xpmwt.cn.gov.cn.xpmwt.cn http://www.morning.bsghk.cn.gov.cn.bsghk.cn http://www.morning.nfyc.cn.gov.cn.nfyc.cn http://www.morning.mrxgm.cn.gov.cn.mrxgm.cn http://www.morning.dxhdn.cn.gov.cn.dxhdn.cn 查看全文 http://www.tj-hxxt.cn/news/257335.html 相关文章： 海口网站建设方案咨询电子商务网站推广方案 山东政务服务网黄山seo 怎么看别人的网站有没有做301做一个自己的网站需要什么 一站式服务包括哪些内容做网站不推广管用吗 dz论坛怎么做视频网站吗个人网站 合理合规的网站链接推广方案空间设计专业 沧州网站建设沧州网上做调查问卷赚钱的网站 深圳网站设计+建设首选深圳市网站建设需要哪些企业资料 济宁三合一网站建设饰品电子商务网站的建设 江门网站推广公司开鲁seo网站 ag电子游戏网站开发硅胶模具技术支持东莞网站建设 案例建网站广告公司招聘 淮安网站定制自己做的网站很卡 有哪些外国网站做精油的wordpress开发单页面跳转 四川泸州做网站的公司有哪些景区门户网站建设的必要性 网站系统建设需要什么网站排名优化电话 一个美工做网站好做吗长沙seo网站 域名申请了怎么做网站服务器网站别名设置 毕业设计网站建设题目南昌网站怎么做seo 广州企业建站网站小程序免费制作平台官网 网站简单设计晋中网络推广 佛山网站建设公司名单网站建设哪家go 网站设计公司网站设计公司天津seo关键词排名优化 凤冈县住房和城乡建设局网站网上申请营业执照 旅行网站首页模板淮安建设机械网站 哪些网站可以做公司制度网站开发备案需要什么 速成网站 改版 影响怎么让别人在百度搜到自己的网站 做网站凡科如何网站创建流程 手机直播网站开发番茄wordpress 什么网站可以做十万的分期太原网站建设外包价格
