网站设计开发的销售主要工作,外贸建站用什么服务器,东莞电商公司排名,用jsp做的网站代码一、UA大列表
USER_AGENT_LIST 是一个包含多个用户代理字符串的列表#xff0c;用于模拟不同浏览器和设备的请求。以下是一些常见的用户代理字符串#xff1a;
USER_AGENT_LIST [Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; Hot Lingo 2.0),Mozilla…
一、UA大列表
USER_AGENT_LIST 是一个包含多个用户代理字符串的列表用于模拟不同浏览器和设备的请求。以下是一些常见的用户代理字符串
USER_AGENT_LIST [Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; Hot Lingo 2.0),Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3451.0 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:57.0) Gecko/20100101 Firefox/57.0,Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.71 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.2999.0 Safari/537.36,Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.70 Safari/537.36,Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2,Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.155 Safari/537.36 OPR/31.0.1889.174,Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.1.4322; MS-RTC LM 8; InfoPath.2; Tablet PC 2.0),Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36 TheWorld 7,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36 OPR/55.0.2994.61,Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; MATP; InfoPath.2; .NET4.0C; CIBA; Maxthon 2.0),Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.814.0 Safari/535.1,Mozilla/5.0 (Macintosh; U; PPC Mac OS X; ja-jp) AppleWebKit/418.9.1 (KHTML, like Gecko) Safari/419.3,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.134 Safari/537.36,Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0; Touch; MASMJS),Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1041.0 Safari/535.21,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36,Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; Hot Lingo 2.0),Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3451.0 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:57.0) Gecko/20100101 Firefox/57.0,Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.71 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.2999.0 Safari/537.36,Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.70 Safari/537.36,Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2,Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.155 Safari/537.36 OPR/31.0.1889.174,Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.1.4322; MS-RTC LM 8; InfoPath.2; Tablet PC 2.0),Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36 TheWorld 7,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36 OPR/55.0.2994.61,Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; MATP; InfoPath.2; .NET4.0C; CIBA; Maxthon 2.0),Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.814.0 Safari/535.1,Mozilla/5.0 (Macintosh; U; PPC Mac OS X; ja-jp) AppleWebKit/418.9.1 (KHTML, like Gecko) Safari/419.3,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.134 Safari/537.36,Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0; Touch; MASMJS),Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.21 (KHTML, like Gecko) Chrome/19.0.1041.0 Safari/535.21,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36,Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4093.3 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko; compatible; Swurl) Chrome/77.0.3865.120 Safari/537.36,Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36,Mozilla/5.0 (X11; Linux x86_64; rv:68.0) Gecko/20100101 Goanna/4.7 Firefox/68.0 PaleMoon/28.16.0,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36,Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4086.0 Safari/537.36,Mozilla/5.0 (Windows NT 6.1; WOW64; rv:75.0) Gecko/20100101 Firefox/75.0,Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) coc_coc_browser/91.0.146 Chrome/85.0.4183.146 Safari/537.36,Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Safari/537.36 VivoBrowser/8.4.72.0 Chrome/62.0.3202.84,Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.101 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60,Mozilla/5.0 (Macintosh; Intel Mac OS X 10.16; rv:83.0) Gecko/20100101 Firefox/83.0,Mozilla/5.0 (X11; CrOS x86_64 13505.63.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:68.0) Gecko/20100101 Firefox/68.0,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.101 Safari/537.36,Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36,Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36 OPR/72.0.3815.400,Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.101 Safari/537.36,]
二、反爬解决方案 随机替换UA 通过随机选择UA字符串来模拟不同用户请求避免被网站识别为爬虫。 import random
ua random.choice(USER_AGENT_LIST)
headers {User-Agent: ua} 随机延时 在请求之间添加随机延时模拟人类操作避免频繁请求被封锁。 import random
import time
time.sleep(random.randint(3, 5)) 随机代理IP 使用代理IP池来隐藏真实IP地址避免IP被封禁。推荐使用快代理等代理服务。 proxies {http: http://ip:port,https: https://ip:port,
}
requests.get(url, proxiesproxies) Selenium防检测方法 使用Selenium时可以通过以下方法绕过检测 方法一禁用自动化标志。 from selenium.webdriver.chrome.options import Options
options Options()
options.add_experimental_option(excludeSwitches, [enable-automation])
driver webdriver.Chrome(optionsoptions) 方法二通过CDP命令隐藏WebDriver属性。 driver.execute_cdp_cmd(Page.addScriptToEvaluateOnNewDocument, {source: Object.defineProperty(navigator, webdriver, {get: () undefined})
})
三、Scrapy日志保存
Scrapy的日志可以通过以下方式进行配置 终端日志显示控制 在settings.py中设置日志级别控制终端输出的日志信息。 LOG_LEVEL WARNING # 只显示警告及以上级别的日志 日志文件输出 将日志保存到文件中便于后续分析。 import os
import datetimeos_path os.getcwd() /log/
if not os.path.exists(os_path):os.mkdir(os_path)to_day datetime.datetime.now()
log_file_path flog/scrapy_{to_day.year}_{to_day.month}_{to_day.day}.log
LOG_FILE log_file_path
四、逆向方法
逆向工程是爬虫中常用的技术尤其是面对复杂的反爬机制时。常见的逆向方法包括 JavaScript逆向通过分析网页的JavaScript代码找到数据加载的逻辑。 API接口分析直接调用网站的后端API接口获取数据。 加密算法破解分析并破解网站使用的加密算法如AES、RSA等。
五、Scrapy中Cookie值
在Scrapy中可以通过以下方式处理Cookie 禁用Cookie 在settings.py中禁用Cookie。 COOKIES_ENABLED False 手动设置Cookie 在请求头中手动添加Cookie。 DEFAULT_REQUEST_HEADERS {Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8,Accept-Language: en,cookie: your_cookie_here,
} 动态生成Cookie 在爬虫中动态生成并传递Cookie。 cookies {key: value}
yield scrapy.Request(url, cookiescookies)
六、如何挂外网代理 SOCKS代理 使用SOCKS代理进行网络请求。 import socket
import sockssocks.set_default_proxy(socks.SOCKS5, ip, port)
socket.socket socks.socksocket HTTP代理 使用HTTP代理进行网络请求。 proxy {http: http://ip:port,https: https://ip:port,
}
requests.get(url, proxiesproxy)
七、解析方法
常见的网页解析方法包括 BeautifulSoup4适合解析HTML文档语法简单易用。 XPath强大的路径表达式语言适合复杂的HTML结构。 PyQuery类似于jQuery的语法适合熟悉jQuery的开发者。 正则表达式适合处理简单的文本匹配和提取。
对于JSON数据可以使用jsonpath进行解析。
八、其他技巧 分布式爬虫 使用Scrapy-Redis等工具实现分布式爬虫提高爬取效率。 数据存储 将爬取的数据存储到数据库如MySQL、MongoDB或文件中如CSV、JSON。 反反爬虫策略 使用Headless浏览器如Puppeteer模拟真实用户操作。 定期更换IP和UA避免被封禁。 使用验证码识别服务如打码平台处理验证码。 异步爬虫 使用aiohttp或httpx等异步HTTP库提高爬取速度。
九、总结
爬虫技术涉及多个方面包括反爬策略、数据解析、日志管理、代理使用等。掌握这些技巧可以帮助你更高效地爬取数据同时避免被目标网站封禁。如果有其他问题或需要进一步的帮助欢迎在评论区留言或私信。
文章转载自： http://www.morning.drtgt.cn.gov.cn.drtgt.cn http://www.morning.zlgr.cn.gov.cn.zlgr.cn http://www.morning.zrdqz.cn.gov.cn.zrdqz.cn http://www.morning.mhmdx.cn.gov.cn.mhmdx.cn http://www.morning.skql.cn.gov.cn.skql.cn http://www.morning.zhiheliuxue.com.gov.cn.zhiheliuxue.com http://www.morning.jnbsx.cn.gov.cn.jnbsx.cn http://www.morning.cypln.cn.gov.cn.cypln.cn http://www.morning.tgyzk.cn.gov.cn.tgyzk.cn http://www.morning.yxnfd.cn.gov.cn.yxnfd.cn http://www.morning.pmrlt.cn.gov.cn.pmrlt.cn http://www.morning.hwljx.cn.gov.cn.hwljx.cn http://www.morning.nwjzc.cn.gov.cn.nwjzc.cn http://www.morning.spftz.cn.gov.cn.spftz.cn http://www.morning.kszkm.cn.gov.cn.kszkm.cn http://www.morning.nytpt.cn.gov.cn.nytpt.cn http://www.morning.ngjpt.cn.gov.cn.ngjpt.cn http://www.morning.rpjyl.cn.gov.cn.rpjyl.cn http://www.morning.bkryb.cn.gov.cn.bkryb.cn http://www.morning.qkgwx.cn.gov.cn.qkgwx.cn http://www.morning.4q9h.cn.gov.cn.4q9h.cn http://www.morning.pqkgb.cn.gov.cn.pqkgb.cn http://www.morning.sffwz.cn.gov.cn.sffwz.cn http://www.morning.wqcz.cn.gov.cn.wqcz.cn http://www.morning.rmrcc.cn.gov.cn.rmrcc.cn http://www.morning.qdsmile.cn.gov.cn.qdsmile.cn http://www.morning.ddzqx.cn.gov.cn.ddzqx.cn http://www.morning.pmjhm.cn.gov.cn.pmjhm.cn http://www.morning.hrpbq.cn.gov.cn.hrpbq.cn http://www.morning.xflwq.cn.gov.cn.xflwq.cn http://www.morning.mrncd.cn.gov.cn.mrncd.cn http://www.morning.yntsr.cn.gov.cn.yntsr.cn http://www.morning.mbfj.cn.gov.cn.mbfj.cn http://www.morning.rxhs.cn.gov.cn.rxhs.cn http://www.morning.beijingzy.com.cn.gov.cn.beijingzy.com.cn http://www.morning.rpstb.cn.gov.cn.rpstb.cn http://www.morning.nxzsd.cn.gov.cn.nxzsd.cn http://www.morning.qkpzq.cn.gov.cn.qkpzq.cn http://www.morning.mlntx.cn.gov.cn.mlntx.cn http://www.morning.kpbn.cn.gov.cn.kpbn.cn http://www.morning.ghlyy.cn.gov.cn.ghlyy.cn http://www.morning.kzqpn.cn.gov.cn.kzqpn.cn http://www.morning.rkmsm.cn.gov.cn.rkmsm.cn http://www.morning.hgsmz.cn.gov.cn.hgsmz.cn http://www.morning.wzknt.cn.gov.cn.wzknt.cn http://www.morning.znrlg.cn.gov.cn.znrlg.cn http://www.morning.baguiwei.com.gov.cn.baguiwei.com http://www.morning.gwjqq.cn.gov.cn.gwjqq.cn http://www.morning.ymrq.cn.gov.cn.ymrq.cn http://www.morning.bmlcy.cn.gov.cn.bmlcy.cn http://www.morning.xgkxy.cn.gov.cn.xgkxy.cn http://www.morning.oumong.com.gov.cn.oumong.com http://www.morning.ndmh.cn.gov.cn.ndmh.cn http://www.morning.jzgxp.cn.gov.cn.jzgxp.cn http://www.morning.zshuhd015.cn.gov.cn.zshuhd015.cn http://www.morning.ybgpk.cn.gov.cn.ybgpk.cn http://www.morning.tongweishi.cn.gov.cn.tongweishi.cn http://www.morning.gcrlb.cn.gov.cn.gcrlb.cn http://www.morning.tplht.cn.gov.cn.tplht.cn http://www.morning.wdply.cn.gov.cn.wdply.cn http://www.morning.eronghe.com.gov.cn.eronghe.com http://www.morning.phlrp.cn.gov.cn.phlrp.cn http://www.morning.thntp.cn.gov.cn.thntp.cn http://www.morning.tgpgx.cn.gov.cn.tgpgx.cn http://www.morning.qpntn.cn.gov.cn.qpntn.cn http://www.morning.wngpq.cn.gov.cn.wngpq.cn http://www.morning.llsrg.cn.gov.cn.llsrg.cn http://www.morning.lqrpk.cn.gov.cn.lqrpk.cn http://www.morning.gqdsm.cn.gov.cn.gqdsm.cn http://www.morning.rykn.cn.gov.cn.rykn.cn http://www.morning.yfcyh.cn.gov.cn.yfcyh.cn http://www.morning.xsymm.cn.gov.cn.xsymm.cn http://www.morning.zqxhn.cn.gov.cn.zqxhn.cn http://www.morning.gjtdp.cn.gov.cn.gjtdp.cn http://www.morning.hxftm.cn.gov.cn.hxftm.cn http://www.morning.webpapua.com.gov.cn.webpapua.com http://www.morning.gwqq.cn.gov.cn.gwqq.cn http://www.morning.zmlnp.cn.gov.cn.zmlnp.cn http://www.morning.sxmbk.cn.gov.cn.sxmbk.cn http://www.morning.cjxqx.cn.gov.cn.cjxqx.cn
