对营销网站建设评估及分析,今天郑州最新新闻,模板网站建站哪家好,做偏门网站大数据时代#xff0c;各行各业对数据采集的需求日益增多#xff0c;网络爬虫的运用也更为广泛#xff0c;越来越多的人开始学习网络爬虫这项技术#xff0c;K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章#xff0c;为实现从易到难全方位覆盖#xff0c;特设【0基础学… 大数据时代各行各业对数据采集的需求日益增多网络爬虫的运用也更为广泛越来越多的人开始学习网络爬虫这项技术K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章为实现从易到难全方位覆盖特设【0基础学爬虫】专栏帮助小白快速入门爬虫本期为文件存储。 概述
前几期文章中我们已经了解到了请求库、解析库的使用已经学会了如何向目标网站发送请求以及解析响应信息那么我们还需要知道如何将数据进行存储。数据存储有很多方式本期会介绍如何将数据存入文本文件如 TXT、JSON、CSV 等。
TXT 文件存储
介绍
TXT文件存储是最基本的数据存储方式TXT 文本文件基本上兼容任何平台因此它的应用也非常广泛。使用代码操作 TXT 文件十分简单但是缺点也非常明显不利于对数据进行检索。
使用
Python 中操作 TXT 文件需要使用到内置的 open() 函数。
open(file, moder, bufferingNone, encodingNone, errorsNone, newlineNone, closefdTrue)
open() 函数有七个参数分别为 file文件路径 mode打开方式默认为r只读模式 buffering文件缓冲 encoding字符编码 errors报错级别 newline换行模式默认以\n换行 closefd控制在关闭文件时是否彻底关闭文件 文件打开方式分为以下几种 r以只读方式打开文件 w以写入方式打开文件。如果文件存在则覆盖原文件不存在则新建。 x创建新文件并以写入方式打开文件 a以追加方式打开文件。如果文件存在则在结尾位置写入不存在则新建。 b二进制模式 t文本模式 读取与写入 wb以二进制写入方式打开文件。如果文件存在则覆盖原文件不存在则新建。 w以读写方式打开文件。如果文件存在则覆盖原文件不存在则新建。 wb以二进制读写方式打开文件。如果文件存在则覆盖原文件不存在则新建。 ab以二进制追加方式打开文件。如果文件存在则在结尾位置写入不存在则新建。 ab以二进制追加读写方式打开文件。如果文件存在则在结尾位置写入不存在则新建。 f open(data.txt,r,encodingutf-8)
f.seek(2) #从指定下标位置开始读取
data f.read()
f.close()
f open(data.txt,w,encodingutf-8)
f.write(hello)
f.write( )
f.write(world)
f.close()
#hello world
上下文管理器
上文中可以看到对一个文件进行读写操作后需要使用 close() 方法关闭文件。如果不使用 close() 关闭文件会导致资源泄露问题。为了避免这个问题和优化代码我们可以使用上下文管理器来操作文件。
with open(data.txt,w,encodinguutf-8)as f:f.write(hello)f.write( )f.write(world)
当 with 语句块结束后文件会自动关闭这样不需要再调用 close() 方法。
JSON 文件存储
介绍
JSON 全称为 JavaScript Object Notation也就是 JavaScript 对象标记是一种轻量级的数据交换格式。人们可以很容易的对 JSON 格式的数据进行阅读和编写同时也方便了机器进行解析和生成。JSON 采用完全独立于程序语言的文本格式但是也使用了类 C 语言的习惯包括C, C, C#, Java, JavaScript, Perl, Python等。这些特性使 JSON 成为理想的数据交换语言。
JSON 通过对象和数组的组合来表示数据而在 JavaScript 中一切皆为对象因此任何数据类型都可以通过 JSON 来表示。
在 JavaScript 中 JSON 通常以对象或数组的形式存在。对象形式为被花括号包裹的键值对结构如 { key1 : value1, key2 : value2 }key表示对象的属性value表示对象的值。数组形式与对象形式的区别就在于它是被方括号所包裹如[{ key1 : value1}, {key2 : value2}]。对象形式与数组形式可以自由组合任意嵌套。JSON中字符串类型的数据需要以双引号包围。
JSON 的这种结构非常简洁清晰且结构化程度很高因而被广泛使用。
使用
JSON 是一个数据格式本质上是纯字符串类型在 Python 中它可以被转换为对应的数据类型如对象形式可以被转换为字典数组类型可以转换为列表。Python 中内置了一个强大的 JSON 库通过它可以简便的实现 JSON 文件的读写操作。
JSON 库提高了四个方法 json.dump()将 JSON 对象写入文件 json.dumps()将Python对象编码成 JSON 字符串 json.load()从 JSON 文件中读取数据 json.loads()将已编码的 JSON 字符串解码为Python对象 下面我们以这段数据作为示例
{1001: {name: 张三,age: 21,gender: female},1002: {name: 李四,age: 22,gender: male}
}
读取数据
data.json 文件内容为示例 JSON 数据。
with open(data.json,r,encodingutf-8)as f:data f.read()print(type(data))
#输出class str
可以看到我们直接从 JSON 文件里面读取的数据是字符串类型这不利于我们对它进行操作我们可以使用 json.loads() 方法将 JSON 字符串转换为字典类型。
import jsonwith open(data.json,r,encodingutf-8)as f:data f.read()print(type(data))
data json.loads(data)
print(type(data))
#输出
#class str
#class dict
我们也可以使用更加简洁的写法通过 json.load() 直接对文件操作对象进行解析。
import jsondata json.load(open(data.json,encodingutf-8))print(type(data))
#输出class dict
写入数据
使用 write() 方法写入文件时它只能传入字符串类型的数据。因此我们需要将字典数据先转换为 JSON 字符串可以通过 json.dumps() 方法实现。
import jsondata {1001: {name: 张三,age: 21,gender: female},1002: {name: 李四,age: 22,gender: male}
}print(data)
data json.dumps(data)
print(type(data))
with open(data.json,w,encodingutf-8)as f:f.write(data)
#输出
#class dict
#class str
当然将数据写入文件也有更加简便的方法。
import jsondata {1001: {name: 张三,age: 21,gender: female},1002: {name: 李四,age: 22,gender: male}
}json.dump(data,open(data.json,w,encodingutf-8),indent2,ensure_asciiFalse)
CSV 文件存储
介绍
CSV 全称 Comma-Sparated Values逗号分隔值它以纯文本形式存储数据表格。CSV 文件是一个字符序列它由任意数目的记录组成记录之间以某种换行符分隔。文件的每条记录由字段和字段值组成字段间的分隔符是其它字符或字符串最常见的是逗号或制表符。CSV 并不是一种单一的、明确定义的文本格式它泛指具备以下特征的任何文件
纯文本呢使用某个字符集 由记录组成 每条记录被分隔符分隔为字段 每条记录都有相同的字段序列
使用
Python 中提供了一个内置的 csv 库来对 CSV 文件进行操作。
写入
import csv#writerow默认换行因此需要通过 newline 将换行符设置为空避免重复换行
with open(data.csv,w,encodingutf-8,newline) as csvfile:#delimiter指定分隔符默认为逗号writer csv.writer(csvfile,delimiter )#写入一行writer.writerow([id, name, age])writer.writerow([1001, jack, 15])writer.writerow([1002, marin, 22])writer.writerow([1003, alex, 19])#写入多行writer.writerows([[1004, lucy, 23],[1005, john, 30]])
csv库也提供了其它的写入方法
import csvwith open(data.csv,w,encodingutf-8,newline) as csvfile:#字典写入对象writer csv.DictWriter(csvfile,fieldnames[id,name,age])writer.writeheader()writer.writerow({id:1001,name:jack,age:21})writer.writerow({id: 1002, name: marin, age: 22})writer.writerows([{id: 1003, name: lucy, age: 23},{id: 1004, name: mike, age: 22}])
读取
import csvwith open(data.csv,r,encodingutf-8)as csvfile:reader csv.reader(csvfile)for row in reader:print(row)
总结
上文中讲到了 TXT、JSON、CSV 三种文件的存储方式介绍了如何对这些文件进行读写操作。文本文件存储的优势在于简单、方便适合存储少量信息但想要规范的储存数据的话并不推荐使用文本文件储存。 文章转载自： http://www.morning.csxlm.cn.gov.cn.csxlm.cn http://www.morning.pfkrw.cn.gov.cn.pfkrw.cn http://www.morning.bwttp.cn.gov.cn.bwttp.cn http://www.morning.rknsp.cn.gov.cn.rknsp.cn http://www.morning.zkgpg.cn.gov.cn.zkgpg.cn http://www.morning.qyhcm.cn.gov.cn.qyhcm.cn http://www.morning.nytpt.cn.gov.cn.nytpt.cn http://www.morning.bpwdc.cn.gov.cn.bpwdc.cn http://www.morning.gbfzy.cn.gov.cn.gbfzy.cn http://www.morning.dmrjx.cn.gov.cn.dmrjx.cn http://www.morning.rmxgk.cn.gov.cn.rmxgk.cn http://www.morning.lddpj.cn.gov.cn.lddpj.cn http://www.morning.bqyb.cn.gov.cn.bqyb.cn http://www.morning.juju8.cn.gov.cn.juju8.cn http://www.morning.mqbzk.cn.gov.cn.mqbzk.cn http://www.morning.ssqwr.cn.gov.cn.ssqwr.cn http://www.morning.prxqd.cn.gov.cn.prxqd.cn http://www.morning.gslz.com.cn.gov.cn.gslz.com.cn http://www.morning.gqtxz.cn.gov.cn.gqtxz.cn http://www.morning.fmkbk.cn.gov.cn.fmkbk.cn http://www.morning.gychx.cn.gov.cn.gychx.cn http://www.morning.npkrm.cn.gov.cn.npkrm.cn http://www.morning.kxbry.cn.gov.cn.kxbry.cn http://www.morning.wlggr.cn.gov.cn.wlggr.cn http://www.morning.sgbsr.cn.gov.cn.sgbsr.cn http://www.morning.fcwxs.cn.gov.cn.fcwxs.cn http://www.morning.jfjbl.cn.gov.cn.jfjbl.cn http://www.morning.bmncq.cn.gov.cn.bmncq.cn http://www.morning.lnmby.cn.gov.cn.lnmby.cn http://www.morning.kdjtt.cn.gov.cn.kdjtt.cn http://www.morning.amlutsp.cn.gov.cn.amlutsp.cn http://www.morning.gqdsm.cn.gov.cn.gqdsm.cn http://www.morning.ghslr.cn.gov.cn.ghslr.cn http://www.morning.zkpwk.cn.gov.cn.zkpwk.cn http://www.morning.ydflc.cn.gov.cn.ydflc.cn http://www.morning.qmncj.cn.gov.cn.qmncj.cn http://www.morning.lsgjf.cn.gov.cn.lsgjf.cn http://www.morning.dljujia.com.gov.cn.dljujia.com http://www.morning.btlsb.cn.gov.cn.btlsb.cn http://www.morning.pfbx.cn.gov.cn.pfbx.cn http://www.morning.wljzr.cn.gov.cn.wljzr.cn http://www.morning.djbhz.cn.gov.cn.djbhz.cn http://www.morning.qgjp.cn.gov.cn.qgjp.cn http://www.morning.jhxdj.cn.gov.cn.jhxdj.cn http://www.morning.btgxf.cn.gov.cn.btgxf.cn http://www.morning.bwzzt.cn.gov.cn.bwzzt.cn http://www.morning.webife.com.gov.cn.webife.com http://www.morning.zcyxq.cn.gov.cn.zcyxq.cn http://www.morning.llxyf.cn.gov.cn.llxyf.cn http://www.morning.lbhck.cn.gov.cn.lbhck.cn http://www.morning.dhbyj.cn.gov.cn.dhbyj.cn http://www.morning.nsppc.cn.gov.cn.nsppc.cn http://www.morning.rqqct.cn.gov.cn.rqqct.cn http://www.morning.yrskc.cn.gov.cn.yrskc.cn http://www.morning.wgbsm.cn.gov.cn.wgbsm.cn http://www.morning.nnwpz.cn.gov.cn.nnwpz.cn http://www.morning.txgjx.cn.gov.cn.txgjx.cn http://www.morning.httpm.cn.gov.cn.httpm.cn http://www.morning.rymb.cn.gov.cn.rymb.cn http://www.morning.saastob.com.gov.cn.saastob.com http://www.morning.wfjyn.cn.gov.cn.wfjyn.cn http://www.morning.dzfwb.cn.gov.cn.dzfwb.cn http://www.morning.ykyfq.cn.gov.cn.ykyfq.cn http://www.morning.lgsfb.cn.gov.cn.lgsfb.cn http://www.morning.dnconr.cn.gov.cn.dnconr.cn http://www.morning.glnfn.cn.gov.cn.glnfn.cn http://www.morning.dysgr.cn.gov.cn.dysgr.cn http://www.morning.rmfh.cn.gov.cn.rmfh.cn http://www.morning.mfqmk.cn.gov.cn.mfqmk.cn http://www.morning.trrrm.cn.gov.cn.trrrm.cn http://www.morning.jcxgr.cn.gov.cn.jcxgr.cn http://www.morning.wmrgp.cn.gov.cn.wmrgp.cn http://www.morning.kdfqx.cn.gov.cn.kdfqx.cn http://www.morning.jpnfm.cn.gov.cn.jpnfm.cn http://www.morning.ptwzy.cn.gov.cn.ptwzy.cn http://www.morning.iznek.com.gov.cn.iznek.com http://www.morning.sfwfk.cn.gov.cn.sfwfk.cn http://www.morning.wbqk.cn.gov.cn.wbqk.cn http://www.morning.qjzgj.cn.gov.cn.qjzgj.cn http://www.morning.xkhhy.cn.gov.cn.xkhhy.cn
