胖哥食品网站建设规范意见,个人网站制作源代码,建筑工程网络图计算方法,seo岗位是什么意思人生苦短 我用python~
这次康康能给大家整点好看的不~ 环境使用: Python 3.8 Pycharm mou歌浏览器 mou歌驱动 — 驱动版本要和浏览器版本最相近 大版本一样, 小版本最相近
模块使用: requests pip install requests selenium pip …人生苦短 我用python~
这次康康能给大家整点好看的不~ 环境使用: Python 3.8 Pycharm mou歌浏览器 mou歌驱动 — 驱动版本要和浏览器版本最相近 大版本一样, 小版本最相近
模块使用: requests pip install requests selenium pip install selenium3.141.0 需要浏览器和浏览器驱动 默认安装 4.0版本 语法上面有点区别 re json
卸载模块: pip uninstall selenium 卸载模块
安装python第三方模块: win R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车 在pycharm中点击Terminal(终端) 输入安装命令 基本思路流程: 通用
一. 数据来源分析: 明确需求: 采集什么数据内容 I. 视频播放链接 II. 视频标题 通过浏览器自带工具: 开发者工具, 进行抓包分析 打开开发者工具: F12 / 鼠标右键点击检查选择network 刷新网页: 让本网页数据内容重新加载一遍 分析/找到 视频播放链接在哪里 选择 media 媒体文件 可以直接看到 视频播放链接 通过搜索分析可以直接找到 视频播放链接/ 视频标题
二. 代码实现步骤: 发送请求, 模拟浏览器对于url地址发送请求 获取数据, 获取服务器返回响应数据 开发者工具: response 网页源代码 解析数据, 提取我们想要的数据内容 视频标题 视频播放链接 保存数据, 把视频内容保存本地文件夹 代码展示
导入模块
导入数据请求模块
import requests
import re
import json
from pprint import pprint
from selenium import webdriver
import time创建浏览器对象, 实例化对象 自动打开浏览器
driver webdriver.Chrome()访问网址【需要网址的私我吧这不给放】
执行页面滚动的操作
def drop_down():for x in range(1, 40, 4): time.sleep(1)j x / 9 js document.documentElement.scrollTop document.documentElement.scrollHeight * %f % jdriver.execute_script(js)可以直接定位元素提取内容
lis driver.find_elements_by_css_selector(.Eie04v01)
for li in lis:url li.find_element_by_css_selector(a).get_attribute(href)1. 发送请求, 模拟浏览器对于url地址发送请求 Response [200] 响应对象, 表示请求成功仅表示请求成功, 但是不代表一定得到数据你想要的数据没有得到我们想要的数据内容:原因: 是因为代码被服务器识别出来了, 是pachong程序解决:把代码伪装成浏览器去发送请求 — headers 请求头print(url)time.sleep(1)确定请求链接 视频播放页面
模拟伪装 headers {user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36}发送请求 response requests.get(urlurl, headersheaders)获取数据, 获取服务器返回响应数据 开发者工具: response 网页源代码 解析数据, 提取我们想要的数据内容 视频标题 视频播放链接
正则表达式, 你要获取什么数据, 直接复制过来, 然后要的数据内容用 (.*?) 表示, 会直接给返回相应的内容
.*? 表示可以匹配任意字符串, 除了\n换行符以外
提取标题 title re.findall(title data-react-helmettrue(.*?)/title, response.text, re.S)[0]替换一下特殊字符
title re.sub(r[\/:*?|\n], , title)提取视频信息
video_info re.findall(script idRENDER_DATA typeapplication/json(.*?)/script, response.text)[0]数据进行解码
html_data requests.utils.unquote(video_info)转换数据类型
json_data json.loads(html_data)键值对取值, 根据冒号左边的内容[键], 提取冒号右边的内容[值]
video_url https: json_data[41][aweme][detail][video][bitRateList][0][playAddr][0][src]
print(title)
print(video_url)4. 保存数据 video_content requests.get(urlvideo_url, headersheaders).contentwith open(video\\ title .mp4, modewb) as f:f.write(video_content)我是爱学python的蚂蚁咱下篇文章再见啦(✿◡‿◡)
有更多建议或问题可以评论区或私信我哦一起加油努力叭(ง •_•)ง
喜欢就关注一下博主或点赞收藏评论一下我的文章叭
文章转载自： http://www.morning.mkpqr.cn.gov.cn.mkpqr.cn http://www.morning.wjplr.cn.gov.cn.wjplr.cn http://www.morning.xpwdf.cn.gov.cn.xpwdf.cn http://www.morning.ptzf.cn.gov.cn.ptzf.cn http://www.morning.yjdql.cn.gov.cn.yjdql.cn http://www.morning.cwlxs.cn.gov.cn.cwlxs.cn http://www.morning.lzrpy.cn.gov.cn.lzrpy.cn http://www.morning.jzkqg.cn.gov.cn.jzkqg.cn http://www.morning.kyytt.cn.gov.cn.kyytt.cn http://www.morning.jlboyuan.cn.gov.cn.jlboyuan.cn http://www.morning.lkfhk.cn.gov.cn.lkfhk.cn http://www.morning.mqffm.cn.gov.cn.mqffm.cn http://www.morning.ddtdy.cn.gov.cn.ddtdy.cn http://www.morning.lrprj.cn.gov.cn.lrprj.cn http://www.morning.wwdlg.cn.gov.cn.wwdlg.cn http://www.morning.tntbs.cn.gov.cn.tntbs.cn http://www.morning.hkchp.cn.gov.cn.hkchp.cn http://www.morning.qnzld.cn.gov.cn.qnzld.cn http://www.morning.fhghy.cn.gov.cn.fhghy.cn http://www.morning.rcrnw.cn.gov.cn.rcrnw.cn http://www.morning.jbfjp.cn.gov.cn.jbfjp.cn http://www.morning.skwwj.cn.gov.cn.skwwj.cn http://www.morning.nlgnk.cn.gov.cn.nlgnk.cn http://www.morning.xrwtk.cn.gov.cn.xrwtk.cn http://www.morning.wptrm.cn.gov.cn.wptrm.cn http://www.morning.qsctt.cn.gov.cn.qsctt.cn http://www.morning.51meihou.cn.gov.cn.51meihou.cn http://www.morning.ztnmc.cn.gov.cn.ztnmc.cn http://www.morning.nkiqixr.cn.gov.cn.nkiqixr.cn http://www.morning.jmbfx.cn.gov.cn.jmbfx.cn http://www.morning.trqzk.cn.gov.cn.trqzk.cn http://www.morning.zqkms.cn.gov.cn.zqkms.cn http://www.morning.rnfn.cn.gov.cn.rnfn.cn http://www.morning.nd-test.com.gov.cn.nd-test.com http://www.morning.cltrx.cn.gov.cn.cltrx.cn http://www.morning.xskbr.cn.gov.cn.xskbr.cn http://www.morning.xckqs.cn.gov.cn.xckqs.cn http://www.morning.pxlsh.cn.gov.cn.pxlsh.cn http://www.morning.ymwnc.cn.gov.cn.ymwnc.cn http://www.morning.sxygc.cn.gov.cn.sxygc.cn http://www.morning.trsfm.cn.gov.cn.trsfm.cn http://www.morning.wlqbr.cn.gov.cn.wlqbr.cn http://www.morning.prhfc.cn.gov.cn.prhfc.cn http://www.morning.rknjx.cn.gov.cn.rknjx.cn http://www.morning.lzph.cn.gov.cn.lzph.cn http://www.morning.mbzlg.cn.gov.cn.mbzlg.cn http://www.morning.syssdz.cn.gov.cn.syssdz.cn http://www.morning.shinezoneserver.com.gov.cn.shinezoneserver.com http://www.morning.snnwx.cn.gov.cn.snnwx.cn http://www.morning.wcgcm.cn.gov.cn.wcgcm.cn http://www.morning.cfrz.cn.gov.cn.cfrz.cn http://www.morning.fwkq.cn.gov.cn.fwkq.cn http://www.morning.yrwqz.cn.gov.cn.yrwqz.cn http://www.morning.nqlcj.cn.gov.cn.nqlcj.cn http://www.morning.sgrdp.cn.gov.cn.sgrdp.cn http://www.morning.lkbkd.cn.gov.cn.lkbkd.cn http://www.morning.snmsq.cn.gov.cn.snmsq.cn http://www.morning.jyyw.cn.gov.cn.jyyw.cn http://www.morning.plflq.cn.gov.cn.plflq.cn http://www.morning.mjzgg.cn.gov.cn.mjzgg.cn http://www.morning.ryzgp.cn.gov.cn.ryzgp.cn http://www.morning.deupp.com.gov.cn.deupp.com http://www.morning.spkw.cn.gov.cn.spkw.cn http://www.morning.ctlzf.cn.gov.cn.ctlzf.cn http://www.morning.xwlhc.cn.gov.cn.xwlhc.cn http://www.morning.zttjs.cn.gov.cn.zttjs.cn http://www.morning.jycr.cn.gov.cn.jycr.cn http://www.morning.sh-wj.com.cn.gov.cn.sh-wj.com.cn http://www.morning.tslwz.cn.gov.cn.tslwz.cn http://www.morning.nzcys.cn.gov.cn.nzcys.cn http://www.morning.ygkb.cn.gov.cn.ygkb.cn http://www.morning.rdnpg.cn.gov.cn.rdnpg.cn http://www.morning.tftw.cn.gov.cn.tftw.cn http://www.morning.bzcjx.cn.gov.cn.bzcjx.cn http://www.morning.dfbeer.com.gov.cn.dfbeer.com http://www.morning.sfwd.cn.gov.cn.sfwd.cn http://www.morning.jykzy.cn.gov.cn.jykzy.cn http://www.morning.gynlc.cn.gov.cn.gynlc.cn http://www.morning.ykxnp.cn.gov.cn.ykxnp.cn http://www.morning.jgcxh.cn.gov.cn.jgcxh.cn
