怎么申请域名建网站,杭州市建设工程招标平台,免费注册126免费邮箱,青海城乡与建设厅网站使用之前请确保自己chrome浏览的版本与chromedriver的版本一致#xff0c; Mac确保chromedriver已经放到python的bin目录中 Windows确保chromedriver已经放到python.exe同目录中 当前selenium Version: 3.141.0#xff0c;4版本后面改为#xff1a;find_element(By.CLASS_NA… 使用之前请确保自己chrome浏览的版本与chromedriver的版本一致 Mac确保chromedriver已经放到python的bin目录中 Windows确保chromedriver已经放到python.exe同目录中 当前selenium Version: 3.141.04版本后面改为find_element(By.CLASS_NAME, VALUE)等等 import time
from lxml.html import etree
from selenium import webdriverheaders {User-Agent: USER-AGENT # 填写自己浏览器的user-agent
}def test_requests(url):browser.get(urlf{url}{send_content})handle1 browser.current_window_handle # 保留当前页面如果有需要翻页可以使用到# selenium 4版本使用browser.find_element(By.CLASS_NAME, news-list)new_list browser.find_element_by_class_name(news-list) # 根据clss定位ul(没有id只能用class利用id的唯一性是最优解)# selenium 4版本使用browser.find_elements(By.TAG_NAME, h3)ul_list new_list.find_elements_by_tag_name(h3) # 获取ul中所有H3标签for ul in ul_list:a_elements ul.find_elements_by_tag_name(a) # 查询H3标签中所有的a标签for a in a_elements:print(a)time.sleep(1) # 用睡眠时间等待或者使用IP池a.click() # 点击每个a标签handles browser.window_handles[1:] # 获取浏览器的所有页面并将第一个总页面切片掉print(len(handles))for ha in handles:browser.switch_to.window(ha) # 循环进入每一个页面解析需要的内容html browser.page_sourcetree etree.HTML(html)title tree.xpath(/html/body/div[2]/div[2]/div[2]/div/div[1]/h1/text())print(title)if __name__ __main__:first_url https://weixin.sogou.com/weixin?ieutf8s_frominput_sug_n_sug_type_type2querysend_content 企业预警通·每日风险预警早报2024年8月13日星期二browser webdriver.Chrome()test_requests(first_url)browser.close()
