当前位置: 首页 > news >正文

漳州专业网站建设费用wordpress 压缩gif插件

漳州专业网站建设费用,wordpress 压缩gif插件,企业建站系统下载,鞍山市住房和城乡建设网站有一个采集数据的需求#xff0c;分析了页面数据后发现列表有一个id#xff0c;但是没有其他数据#xff0c;打开详情并不是通过id#xff0c;而是其他一个字段#xff0c;这就说明通过selenium抓取页面数据还不行#xff0c;还要接口返回的数据。这个时候就需要用到代理… 有一个采集数据的需求分析了页面数据后发现列表有一个id但是没有其他数据打开详情并不是通过id而是其他一个字段这就说明通过selenium抓取页面数据还不行还要接口返回的数据。这个时候就需要用到代理了在代理层面把数据拦截下来把自己想要的接口数据保存起来然后通过页面找到的id去匹配找到详情需要的字段。大致意思就是接口列表返回的数据有id也有详情的字段但是html里面只有id所以要把接口数据也存起来然后根据id找到列表对应的详情字段。 代码如下 static async Task Main(string[] args) {var proxyServer new ProxyServer();proxyServer.AddEndPoint(new ExplicitProxyEndPoint(System.Net.IPAddress.Any, 8000, true)); // 8000为端口proxyServer.Start();var proxy new Proxy{HttpProxy 127.0.0.1:8000,SslProxy 127.0.0.1:8000};var chromeOptions new ChromeOptions();chromeOptions.Proxy proxy;chromeOptions.AddArgument(--headless); // 启用无头模式chromeOptions.AddArgument(--no-sandbox); // 可选适用于某些环境chromeOptions.AddArgument(--disable-dev-shm-usage); // 可选适用于某些环using (var driver new ChromeDriver( chromeOptions)){//proxyServer.BeforeRequest//返送前的请求request也会在这里拦截proxyServer.BeforeResponse async (sender, e) //返回的请求都会在这里拦截{// 检查响应的 Content-Typeif (e.HttpClient.Request.Url.Contains(/xxxx) e.HttpClient.Request.Method POST){Rootobject rootobject JsonSerializer.DeserializeRootobject(await e.GetResponseBodyAsString());if (rootobject.data.List ! null){ foreach (var item in rootobject.data.List){ Console.WriteLine($tid{item.tid}); }}}};driver.Navigate().GoToUrl(https://domain.com);Thread.Sleep(1000);driver.FindElement(By.XPath(/html/body/div/div/div/section/div[3]/div[2]/div/div[1]/img)).Click();} proxyServer.Stop();Console.ReadKey(); }其实也可以直接请求接口但是直接请求接口的话参数要搞清楚怎么传这里选择了selenium主要是为了方便不需要去研究请求参数也不用担心参数变动。selenium本身是支持代理请求的我们只需要启动一个代理服务器把代理服务器的地址给到selenium就可以了这篇文章的代码逻辑也是如此。
http://www.tj-hxxt.cn/news/223539.html

相关文章:

  • 石家庄市建设局质监站网站中国网络营销论坛
  • 马蜂窝是什么做的网站wordpress视频防盗链
  • 班级网站素材下载网站建设收获与体会
  • 有哪些在线做图的网站电子商务网站设计html模板
  • 南充做网站略奥网络网站优化排名公司
  • 做外文翻译的网站制作图片软件免费版
  • 国内旅行做行程网站wordpress模板是什么意思
  • 广州seo网站推广技巧app手机软件
  • 可不可以自己做网站沙井做网站的公司
  • 建设搜索引擎友好的网站对做网站有什么建议
  • 电信网站备案系统做网站都需要什么资料
  • 江苏省建设斤网站有没有专门的销售公司
  • 岚县网站建设全网关键词优化公司哪家好
  • 网站建设管理经验做法盗网站asp源码
  • 电器网站建设免费咨询上海网站架设
  • 做外销网站总部在深圳的互联网公司
  • 怎么做网站添加二维码男科医院咨询免费
  • 网站的评测系统怎么做的做招聘的h5用哪个网站
  • 网站流量盈利知己图书网站建设策划书
  • 视频网页制作教程360优化大师官网
  • 如何给网站的关键词做排名架设一个网站
  • 网站不备案不能访问吗wordpress如何添加百度地图
  • 手机静态网站开发制作中国门户网站建设重要性
  • 订阅号可以做网站么二手房装修
  • 自己做网站能赚钱么网站论坛模板下载
  • 兰州网站分类导航企业网站推广方案设计
  • 怎么弄免费的php空间做网站中国哪家做网站的公司最大
  • 淘宝网站建设目标是什么意思江油网站制作
  • 手机h5免费模板网站模板中国建筑未来走势预测
  • 网站优化软件有哪些php网站开发技术 pdf