网站专题页面开发,计算机网络维护工作内容,网站建设贰金手指下拉贰拾,全国企业信息查询网站背景: 近期有一个需求需要采集某电商网站平台的商品数据进行分析。因此#xff0c;我计划先用Python实现一个简单的版本#xff0c;以快速测试技术的实现可能性#xff0c;再用PHP实现一个更完整的版本。文章中涉及的技术仅为学习和测试用途#xff0c;请勿用于商业或非法用…背景: 近期有一个需求需要采集某电商网站平台的商品数据进行分析。因此我计划先用Python实现一个简单的版本以快速测试技术的实现可能性再用PHP实现一个更完整的版本。文章中涉及的技术仅为学习和测试用途请勿用于商业或非法用途以免对相关网站服务器造成不良影响。
一、需求分析
在网页抓取过程中需要留意有些网站使用了动态渲染技术这意味着页面内容并不是初始加载时直接从服务器获取而需要JavaScript渲染后才会显示完整内容。应对动态渲染页面时我们可以采用以下几种方法来获取数据
1. 使用 Selenium
Selenium 是一种自动化测试框架可模拟用户在浏览器中执行操作获取渲染后的页面内容。它适合处理需要登录、填写表单等复杂的页面交互。使用 Selenium WebDriver 可以控制浏览器自动加载页面、执行 JavaScript 代码等以便抓取到动态渲染的数据。
优缺点
优点适合复杂交互场景如模拟登录、表单提交能完整抓取动态内容。缺点需要开启浏览器消耗资源较大速度相对较慢。
2. 使用 Headless 浏览器
Headless 浏览器没有图形界面但具备处理JavaScript、HTML、CSS等渲染能力是抓取动态渲染页面的理想选择。常见的 Headless 浏览器有 PhantomJS 和 Puppeteer。
优缺点
优点不需要可视化界面效率较高且可以完整执行JavaScript。缺点对于需要频繁交互的操作不如 Selenium 灵活。
3. 直接调用网站 API
部分网站提供公开 API 接口直接向这些接口发送请求即可获取数据省去渲染页面的步骤。可以使用抓包工具找到这些接口的请求数据直接模拟请求参数。
优缺点
优点相比前两种方法调用 API 更高效、直接适合抓取特定数据。缺点某些 API 可能会有访问限制或加密且并非所有网站提供公开 API。
4. 分析 JavaScript 渲染逻辑
一些网站通过 JavaScript 动态生成内容时可以分析页面源代码找到生成页面的 JS 代码块模拟执行获取数据。这种方法对没有 API 接口且较复杂的动态页面尤其适用但对开发者的 JavaScript 分析能力有较高要求。
优缺点
优点适合特定没有 API 且动态生成内容的网站。缺点需要较高的分析和 JS 知识。
案例网站
本次我们选择了日本的二手交易平台 mercari.com 进行数据抓取。经分析页面结构发现其采用了动态渲染适合使用 Selenium Chrome 浏览器模拟获取数据。 二、Selenium 介绍
1. 什么是 Selenium
Selenium 是一个强大的开源工具集最初设计用于 Web 应用程序的自动化测试后来也被广泛应用于网页抓取Web Scraping。通过 Selenium程序可以自动控制浏览器就像用户手动操作一样执行各种交互如点击、输入文本、滚动页面等。Selenium 的核心组件是 WebDriver它负责与浏览器进行交互。
Selenium 的工作原理
WebDriver 是 Selenium 的核心它通过与浏览器的 “驱动程序”如 ChromeDriver、GeckoDriver进行通信来控制浏览器。WebDriver 会将程序指令转换成浏览器能够识别的命令模拟用户操作。WebDriver 通过 HTTP 协议发送指令这些指令被浏览器驱动如 ChromeDriver接收、解析并在浏览器中执行。执行完成后驱动程序将执行结果返回给 WebDriver。例如当程序发送一个点击按钮的指令时WebDriver 会发送 HTTP 请求给驱动驱动再将该指令转换为浏览器能识别的点击操作。
2. 在代码中如何使用 Selenium 以及它的工作流程
在代码中Selenium 的典型使用流程如下 配置浏览器驱动首先需要下载并配置与浏览器对应的驱动程序如 ChromeDriver 对应 Chrome 浏览器。该驱动是 Selenium 控制浏览器的桥梁必须版本匹配。 初始化 WebDriver在代码中创建一个 WebDriver 实例来启动浏览器。例如在 Python 中可以通过 webdriver.Chrome() 来启动 Chrome。 编写自动化操作通过 WebDriver 提供的 API编写各种模拟操作如访问页面、查找元素、执行点击、输入文本等。例如driver.find_element_by_id() 可以找到页面元素driver.get(https://example.com) 用于访问网址。 关闭浏览器任务完成后调用 driver.quit() 来关闭浏览器并释放资源。
3. Chrome 和 Chrome Headless Shell 的选择
在使用 Selenium 进行网页自动化时有两种配置方式 完整 Chrome 浏览器支持 GUI 适用有图形界面的系统如 Windows 和 Mac。通过 --headless 启动 Chrome 的无界面模式。优点与系统 Chrome 保持一致直接更新浏览器即可。 Chrome Headless Shell不依赖 GUI 适合无界面的服务器如 Linux 环境中的 Ubuntu 无 GUI 版。直接在命令行中安装和使用不依赖任何图形界面。优点更轻量资源占用更低适合容器环境如 Docker。
4. 使用 ChromeDriver 启动 Chrome 和 Chrome Headless Shell 的代码示例
1. 在有 GUI 系统上启动 Chrome 的无界面模式
配置完整 Chrome 浏览器并通过 --headless 参数启动无界面模式
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options# 配置 Chrome 选项
chrome_options Options()
// chrome_options.add_argument(--headless) # 启用无界面模式
chrome_options.add_argument(--no-sandbox) # 适用于 Linux 系统防止运行 Chrome 时沙箱模式导致的问题
chrome_options.add_argument(--disable-gpu) # 用于 Windows 系统避免无界面模式下的 GPU 渲染问题
chrome_options.add_argument(--window-size1920x1080) # 指定浏览器窗口大小模拟不同屏幕分辨率
chrome_options.add_argument(--disable-dev-shm-usage) # 避免共享内存问题# 启动 ChromeDriver
service Service(/usr/local/bin/chromedriver) # 替换为 ChromeDriver 路径
driver webdriver.Chrome(serviceservice, optionschrome_options)driver.get(https://example.com)
print(页面标题:, driver.title)
driver.quit()2. 在无 GUI 系统上启动 Chrome Headless Shell
使用 Chrome Headless Shell 路径启动无界面浏览器
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Optionschrome_options Options()
chrome_options.binary_location /path/to/chrome-headless-shell # 替换为 Chrome Headless Shell 路径
chrome_options.add_argument(--headless) # 无界面模式
chrome_options.add_argument(--no-sandbox) # Linux 推荐设置防止运行 Chrome 时沙箱模式导致的问题
chrome_options.add_argument(--disable-dev-shm-usage) # 避免共享内存问题service Service(/usr/local/bin/chromedriver)
driver webdriver.Chrome(serviceservice, optionschrome_options)driver.get(https://example.com)
print(页面标题:, driver.title)
driver.quit()三、Python 版本实现
环境安装
1. 安装 Python
确保已安装 Python并使用 python --version 查看是否为兼容版本推荐 3.8 及以上。 可以使用nvm来进行python
2. 下载 ChromeDriver
根据 Chrome 浏览器的版本本地已安装Chrome浏览器下载对应版本的 ChromeDriver 并将其添加到系统路径中。
使用chrome浏览器打开 Google Chrome Testing会自动检测你本地安装的chrome浏览器版本并为你推荐合适的ChromeDriver版本,因为我是Mac Intel系统所以选择的是mac-x64的ChromeDriver 将下载的 chromedriver 文件解压缩得到一个可执行文件 chromedriver将 chromedriver 文件复制到 /usr/local/bin以便全局访问。可以使用以下命令
sudo mv /path/to/chromedriver /usr/local/bin/验证 ChromeDriver 是否配置成功运行以下命令
chromedriver --version如果成功配置会显示 ChromeDriver 的版本信息。
3. 安装 Selenium
使用以下命令安装 Selenium
pip install selenium4. 测试 Selenium 是否正常运行
编写一个简单的测试脚本打开浏览器访问百度并检查是否能正确加载页面。
import time
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By# 配置 Chrome 选项
chrome_options Options()
chrome_options.add_argument(--headless) # 启用无界面模式
chrome_options.add_argument(--disable-gpu)
chrome_options.add_argument(--no-sandbox)# 启动 ChromeDriver
service Service(/usr/local/bin/chromedriver) # 替换为 ChromeDriver 路径
driver webdriver.Chrome(serviceservice, optionschrome_options)try:# 访问百度首页driver.get(https://www.baidu.com)time.sleep(1) # 等待页面加载# 打印页面标题print(页面标题:, driver.title)# 在搜索框中输入关键词 China 并执行搜索search_box driver.find_element(By.CSS_SELECTOR, #kw)search_box.send_keys(China)search_button driver.find_element(By.CSS_SELECTOR, #su)search_button.click()time.sleep(2) # 等待搜索结果加载# 打印搜索结果页面标题print(搜索结果页面标题:, driver.title)finally:# 关闭浏览器driver.quit()控制台输出成功
5. 使用python抓取 mercari.com 网站指定品类的商品信息
# -*- coding: utf-8 -*-from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time# 配置 Chrome 选项
chrome_options Options()
chrome_options.add_argument(--headless) # 启用无界面模式
chrome_options.add_argument(--disable-gpu)
chrome_options.add_argument(--no-sandbox)# 初始化浏览器
driver webdriver.Chrome(optionschrome_options)# 打开网页
driver.get(https://jp.mercari.com/)# 找到搜索框并输入内容
search_box driver.find_element(By.CSS_SELECTOR, input[placeholderなにをお探しですか])
search_box.send_keys(Adidas)# 等待加载并点击搜索按钮
search_button driver.find_element(By.CSS_SELECTOR, button[aria-label検索])
search_button.click()# 等待搜索结果加载
# 等待直到搜索结果的元素出现在页面中
WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.CSS_SELECTOR, div[data-testidsearch-item-grid] ul)) # 根据实际情况修改选择器
)# 定义获取产品信息的函数
def get_product_info():# 获取页面源代码page_source driver.page_source# 使用BeautifulSoup解析页面soup BeautifulSoup(page_source, html.parser)# 获取商品信息products soup.select(div[data-testidsearch-item-grid] ul li[data-testiditem-cell]) # 选择 ul 下的 li 元素# results driver.find_elements(By.CSS_SELECTOR, div[data-testidsearch-item-grid] ul)product_info []for product in products:name_elem product.select_one(span[data-testidthumbnail-item-name])price_elem product.select_one([class*priceContainer])img_elem product.select_one(img)# 检查元素是否存在并处理 Unicodename name_elem.text.strip() if name_elem else u未找到名称price price_elem.text.strip() if price_elem else u未找到价格img_url img_elem[src] if img_elem else u未找到图片链接product_info.append((name, price, img_url))return product_info# 向下滚动以加载更多商品
def scroll_and_load_more():last_height driver.execute_script(return document.body.scrollHeight)while True:# 向下滚动到页面底部driver.execute_script(window.scrollBy(0, 300);)# 等待新的内容加载time.sleep(2)# 计算新的滚动高度并与上一次高度进行比较new_height driver.execute_script(return document.body.scrollHeight)if new_height last_height:break # 如果没有新的内容加载退出循环last_height new_height# 调用向下滚动的函数
scroll_and_load_more()# 获取产品信息
products get_product_info()# 打印结果
for name, price, img_url in products:print(u名称: {}, 价格: {}, 图片链接: {}.format(name, price, img_url))# 关闭浏览器
driver.quit()等待抓取成功后并输出抓取到的商品信息 四、PHP 版本实现
环境安装
1. 安装 PHP Selenium WebDriver 库
使用 Composer 安装 WebDriver
composer require facebook/webdriver使用文档 具体的使用方法见 PHP Selenium WebDriver Github 仓库WIKI文档
2. 下载 ChromeDriver
根据 Chrome 浏览器版本下载对应版本的 ChromeDriver 并将其添加到系统路径中。 步骤同上面的Python版本中的ChromeDriver安装
3. 安装 Java PHP、Java 等语言没有直接支持 WebDriver API 的库因此需要借助 Selenium Server 发送 WebDriver 请求。通过 Selenium ServerPHP 和 Java 客户端可以间接与 ChromeDriver 等浏览器驱动通信。Python 中不需要单独启动 Selenium Server是因为它可以直接使用浏览器驱动程序如 ChromeDriver 或 GeckoDriver与浏览器通信而无需通过 Selenium Server 的中间层。这是因为 Python 的 Selenium 库内置支持 WebDriver API可以直接控制浏览器驱动免去额外的服务器进程。 启动 Selenium Server 需要通过 Java 命令运行 JAR 文件。Selenium Server 是基于 Java 构建的所以无论在什么操作系统上包括 macOS都需要安装 Java并用 Java 命令来启动它。 前往 Java官网 下载Java安装包,根据自己的操作系统选择合适的版本这里我下载的是Mac OS 的 x64 DMG Installer 下载后双击安装同意即可 最后在控制台输入检查Java是否安装成功
java --version输出版本信息代表安装成功
4. 下载 Selenium Server JAR 文件 Selenium Server 主要用于以下场景 分布式测试环境在多台机器上进行测试尤其是在集成和自动化测试场景中Selenium Server 可以集中管理多台机器上的浏览器控制。非本地浏览器控制例如如果需要在远程服务器上控制浏览器Selenium Server 作为一个中间层可以通过 WebDriver 协议远程控制浏览器。多语言支持Java、PHP 等客户端库通过 Selenium Server 来发送 WebDriver 请求因为这些语言没有像 Python 一样的浏览器驱动的直接连接支持。 前往Selenium官网下载最新版本的Selenium Server JAR 文件。 下载后将Selenium Server jar文件放置在一个便于管理的目录下例如 ~/selenium/
5. 启动 Selenium 服务
通过以下命令启动 Selenium Server 服务
cd ~/selenium-java/
java -jar selenium-server-4.26.0.jar standalone此时Selenium Server 将在默认的 http://localhost:4444 端口启动。验证 Selenium Server 是否启动成功 打开浏览器访问 http://localhost:4444。如果页面显示了 Selenium Server 的信息则说明启动成功。
还有一种方式是不通过Selenium Server服务直接启动chromedriver服务比较适合本地的单机服务来运行抓取业务(可以不安装Java和Selenium Server)
chromedriver --port4444Selenium Server 提供了几种不同的启动模式每种模式适用于不同的分布式或本地测试需求。以下是常见模式的启动命令和适用场景 Standalone 模式 命令: java -jar selenium-server.jar standalone场景: 适用于单机环境将所有组件Session 管理、路由、分发整合到一个服务中。适合无需分布式的简单测试。 Hub 模式 命令: java -jar selenium-server.jar hub场景: 作为集群中心管理节点用于接收测试请求并分配到各个 Node。适合需要分布式测试的场景。 Node 模式 命令: java -jar selenium-server.jar node --detect-drivers true --hub 场景: 作为测试执行节点注册到 Hub实际执行测试任务。适用于分布式集群的场景。 SessionQueue 模式 命令: java -jar selenium-server.jar sessionqueue场景: 单独管理请求队列适合高并发场景。通常配合 Hub 使用提高请求的调度效率。 Router 模式 命令: java -jar selenium-server.jar router场景: 充当路由器将请求分发至不同的 Hub。适合大型集群提高请求分配效率。 Distributor 模式 命令: java -jar selenium-server.jar distributor场景: 管理和分发 Session适合复杂的分布式集群通常和 Hub、Node 配合使用。
6. 测试服务是否正常运行
在 PHP 中编写一个简单脚本测试能否正常启动 Selenium 并控制浏览器。
?php// 引入 PHP WebDriver 的库
require_once(vendor/autoload.php);use Facebook\WebDriver\Remote\RemoteWebDriver;
use Facebook\WebDriver\Remote\DesiredCapabilities;
use Facebook\WebDriver\Chrome\ChromeOptions;
use Facebook\WebDriver\WebDriverBy;try {// 配置 Chrome 选项$chromeOptions new ChromeOptions();$chromeOptions-addArguments([--headless, --disable-gpu, --no-sandbox]);$capabilities DesiredCapabilities::chrome();$capabilities-setCapability(ChromeOptions::CAPABILITY, $chromeOptions);// 启动 ChromeDriver替换为 ChromeDriver 路径$driver RemoteWebDriver::create(http://localhost:4444, $capabilities);// 访问百度首页$driver-get(https://www.baidu.com);sleep(1); // 等待页面加载// 打印页面标题echo 页面标题: . $driver-getTitle() . \n;// 在搜索框中输入关键词 China 并执行搜索$searchBox $driver-findElement(WebDriverBy::cssSelector(#kw));$searchBox-sendKeys(China);$searchButton $driver-findElement(WebDriverBy::cssSelector(#su));$searchButton-click();sleep(2); // 等待搜索结果加载// 打印搜索结果页面标题echo 搜索结果页面标题: . $driver-getTitle() . \n;$driver-quit();
} catch (Exception $e) {echo Error: . $e-getMessage() . \n;// 关闭浏览器if (isset($driver)) {$driver-quit();}
}等待抓取成功后并输出抓取到的商品信息 以上就是完整的实现流程和代码示例。 文章转载自： http://www.morning.skpdg.cn.gov.cn.skpdg.cn http://www.morning.sgqw.cn.gov.cn.sgqw.cn http://www.morning.rjcqb.cn.gov.cn.rjcqb.cn http://www.morning.bwznl.cn.gov.cn.bwznl.cn http://www.morning.mynbc.cn.gov.cn.mynbc.cn http://www.morning.pdwzr.cn.gov.cn.pdwzr.cn http://www.morning.ybgt.cn.gov.cn.ybgt.cn http://www.morning.linzhigongmao.cn.gov.cn.linzhigongmao.cn http://www.morning.dwfzm.cn.gov.cn.dwfzm.cn http://www.morning.dhckp.cn.gov.cn.dhckp.cn http://www.morning.rjfr.cn.gov.cn.rjfr.cn http://www.morning.rzcmn.cn.gov.cn.rzcmn.cn http://www.morning.fkgcd.cn.gov.cn.fkgcd.cn http://www.morning.xjmyq.com.gov.cn.xjmyq.com http://www.morning.xsctd.cn.gov.cn.xsctd.cn http://www.morning.tyklz.cn.gov.cn.tyklz.cn http://www.morning.crhd.cn.gov.cn.crhd.cn http://www.morning.fpzpb.cn.gov.cn.fpzpb.cn http://www.morning.xpzkr.cn.gov.cn.xpzkr.cn http://www.morning.zfrs.cn.gov.cn.zfrs.cn http://www.morning.qhfdl.cn.gov.cn.qhfdl.cn http://www.morning.rkypb.cn.gov.cn.rkypb.cn http://www.morning.jbpodhb.cn.gov.cn.jbpodhb.cn http://www.morning.paxkhqq.cn.gov.cn.paxkhqq.cn http://www.morning.weiwt.com.gov.cn.weiwt.com http://www.morning.sgjw.cn.gov.cn.sgjw.cn http://www.morning.mkfhx.cn.gov.cn.mkfhx.cn http://www.morning.jgmlb.cn.gov.cn.jgmlb.cn http://www.morning.tqpds.cn.gov.cn.tqpds.cn http://www.morning.zrlwl.cn.gov.cn.zrlwl.cn http://www.morning.qwqzk.cn.gov.cn.qwqzk.cn http://www.morning.nnwnl.cn.gov.cn.nnwnl.cn http://www.morning.yxbrn.cn.gov.cn.yxbrn.cn http://www.morning.bpmtj.cn.gov.cn.bpmtj.cn http://www.morning.trtdg.cn.gov.cn.trtdg.cn http://www.morning.sgpny.cn.gov.cn.sgpny.cn http://www.morning.rwlsr.cn.gov.cn.rwlsr.cn http://www.morning.yrbqy.cn.gov.cn.yrbqy.cn http://www.morning.jcyrs.cn.gov.cn.jcyrs.cn http://www.morning.mhbcy.cn.gov.cn.mhbcy.cn http://www.morning.crhd.cn.gov.cn.crhd.cn http://www.morning.xsrnr.cn.gov.cn.xsrnr.cn http://www.morning.sxfmg.cn.gov.cn.sxfmg.cn http://www.morning.ymsdr.cn.gov.cn.ymsdr.cn http://www.morning.kflpf.cn.gov.cn.kflpf.cn http://www.morning.ttrdr.cn.gov.cn.ttrdr.cn http://www.morning.hjrjy.cn.gov.cn.hjrjy.cn http://www.morning.tgmfg.cn.gov.cn.tgmfg.cn http://www.morning.wtdyq.cn.gov.cn.wtdyq.cn http://www.morning.sryhp.cn.gov.cn.sryhp.cn http://www.morning.knqzd.cn.gov.cn.knqzd.cn http://www.morning.enjoinfo.cn.gov.cn.enjoinfo.cn http://www.morning.lfpdc.cn.gov.cn.lfpdc.cn http://www.morning.fpqsd.cn.gov.cn.fpqsd.cn http://www.morning.qkkmd.cn.gov.cn.qkkmd.cn http://www.morning.dsxgc.cn.gov.cn.dsxgc.cn http://www.morning.fhlfp.cn.gov.cn.fhlfp.cn http://www.morning.sggzr.cn.gov.cn.sggzr.cn http://www.morning.ffrys.cn.gov.cn.ffrys.cn http://www.morning.sbczr.cn.gov.cn.sbczr.cn http://www.morning.thzgd.cn.gov.cn.thzgd.cn http://www.morning.rhjhy.cn.gov.cn.rhjhy.cn http://www.morning.ztmkg.cn.gov.cn.ztmkg.cn http://www.morning.ryrgx.cn.gov.cn.ryrgx.cn http://www.morning.bcnsl.cn.gov.cn.bcnsl.cn http://www.morning.kxqpm.cn.gov.cn.kxqpm.cn http://www.morning.qdsmile.cn.gov.cn.qdsmile.cn http://www.morning.gsrh.cn.gov.cn.gsrh.cn http://www.morning.mxcgf.cn.gov.cn.mxcgf.cn http://www.morning.rngyq.cn.gov.cn.rngyq.cn http://www.morning.mfnsn.cn.gov.cn.mfnsn.cn http://www.morning.tzzxs.cn.gov.cn.tzzxs.cn http://www.morning.qbwyd.cn.gov.cn.qbwyd.cn http://www.morning.krwzy.cn.gov.cn.krwzy.cn http://www.morning.bpknt.cn.gov.cn.bpknt.cn http://www.morning.ymwrs.cn.gov.cn.ymwrs.cn http://www.morning.wtxdp.cn.gov.cn.wtxdp.cn http://www.morning.nhrkc.cn.gov.cn.nhrkc.cn http://www.morning.szzxqc.com.gov.cn.szzxqc.com http://www.morning.ljmbd.cn.gov.cn.ljmbd.cn
