重庆沙坪坝网站建设,网络广告方案怎么写,注册1千万的公司需要多少钱,上海企业注销简易流程文章目录 一、需求二、处理方式三、代码实现 一、需求
每天会生成一个记录文件#xff08;文件名按日期yyyyMMdd格式命名#xff09;#xff0c;记录文件中记录有条形码的内容#xff0c;需要合并最近20次的数据#xff0c;并提取出有重复的条形码。 也可以进行最近30天数… 文章目录 一、需求二、处理方式三、代码实现 一、需求
每天会生成一个记录文件文件名按日期yyyyMMdd格式命名记录文件中记录有条形码的内容需要合并最近20次的数据并提取出有重复的条形码。 也可以进行最近30天数据的合并需要修改次数判断为日期判断即可。
二、处理方式
1、遍历存放记录文件的文件夹并将获取的文件名进行排序 2、根据条件过滤不需要的文件然后将所有读取的文件使用pandas 的concat函数进行合并 3、使用duplicated函数判断是否有重复 4、输出有重复的条形码值。
三、代码实现
import datetime
import os
import shutil
import pandas as pdcurrent_date datetime.date.today()
ls []files os.listdir(记录文件)
files sorted(files, reverseTrue) # 对文件进行逆序排序count 0
for file in files:if 模板 not in file and file.endswith(.xlsx): # 只选择xlsx后缀的文件并剔除文件名中有模板的文件file_path os.path.join(记录文件, file)df pd.read_excel(file_path)ls.append(df)count 1if count 20: # 选择最近的20个文件breakoutput pd.concat(ls)
oupt_name f{datetime.date.today()}合并的数据.csv
output.to_csv(oupt_name, encodinggbk)data pd.read_csv(oupt_name, encodinggbk)
data[是否重复] data[条码值].duplicated(keepFalse)
duplicate_barcodes data[data[是否重复] True]if len(duplicate_barcodes[是否重复].tolist()) ! 0:duplicate_barcodes.to_csv(有重码的文件.csv, encodinggbk)if not os.path.exists(合并后的文件):os.makedirs(合并后的文件)
if not os.path.exists(有重码的文件):os.makedirs(有重码的文件)
shutil.move(oupt_name, os.path.join(合并后的文件, oupt_name))
shutil.move(有重码的文件.csv, os.path.join(有重码的文件, 有重码的文件.csv))如果是最近30天的文件合并文件的代码如下判断是否重复的代码不变
current_date datetime.date.today() - datetime.timedelta(days30)
date_string current_date.strftime(%Y%m%d)
print(当前日期, date_string)ls []
for file in os.scandir():if 模板 not in file.name:if file.name.endswith(xlsx):file_date datetime.datetime.strptime(file.name[:-5], %Y%m%d).date()if file_date current_date:df pd.read_excel(file.name)ls.append(df)
output pd.concat(ls)
文章转载自： http://www.morning.bnkcl.cn.gov.cn.bnkcl.cn http://www.morning.wscfl.cn.gov.cn.wscfl.cn http://www.morning.kxrld.cn.gov.cn.kxrld.cn http://www.morning.zyrp.cn.gov.cn.zyrp.cn http://www.morning.nqgjn.cn.gov.cn.nqgjn.cn http://www.morning.lhxkl.cn.gov.cn.lhxkl.cn http://www.morning.yqgbw.cn.gov.cn.yqgbw.cn http://www.morning.yrctp.cn.gov.cn.yrctp.cn http://www.morning.zpzys.cn.gov.cn.zpzys.cn http://www.morning.rwjfs.cn.gov.cn.rwjfs.cn http://www.morning.kjfsd.cn.gov.cn.kjfsd.cn http://www.morning.kfldw.cn.gov.cn.kfldw.cn http://www.morning.dwhnb.cn.gov.cn.dwhnb.cn http://www.morning.rlqwz.cn.gov.cn.rlqwz.cn http://www.morning.flzqq.cn.gov.cn.flzqq.cn http://www.morning.ltzkk.cn.gov.cn.ltzkk.cn http://www.morning.fhwfk.cn.gov.cn.fhwfk.cn http://www.morning.tnwwl.cn.gov.cn.tnwwl.cn http://www.morning.lzqdd.cn.gov.cn.lzqdd.cn http://www.morning.fksdd.cn.gov.cn.fksdd.cn http://www.morning.c7625.cn.gov.cn.c7625.cn http://www.morning.fdwlg.cn.gov.cn.fdwlg.cn http://www.morning.ndcjq.cn.gov.cn.ndcjq.cn http://www.morning.eshixi.com.gov.cn.eshixi.com http://www.morning.qkbwd.cn.gov.cn.qkbwd.cn http://www.morning.lekbiao.com.gov.cn.lekbiao.com http://www.morning.qrwnj.cn.gov.cn.qrwnj.cn http://www.morning.dzzjq.cn.gov.cn.dzzjq.cn http://www.morning.nynlf.cn.gov.cn.nynlf.cn http://www.morning.rjnky.cn.gov.cn.rjnky.cn http://www.morning.btgxf.cn.gov.cn.btgxf.cn http://www.morning.dytqf.cn.gov.cn.dytqf.cn http://www.morning.rshs.cn.gov.cn.rshs.cn http://www.morning.fnrkh.cn.gov.cn.fnrkh.cn http://www.morning.wcgcm.cn.gov.cn.wcgcm.cn http://www.morning.ctfwl.cn.gov.cn.ctfwl.cn http://www.morning.hjrjr.cn.gov.cn.hjrjr.cn http://www.morning.nydtt.cn.gov.cn.nydtt.cn http://www.morning.pqkgb.cn.gov.cn.pqkgb.cn http://www.morning.wdrxh.cn.gov.cn.wdrxh.cn http://www.morning.lbxhy.cn.gov.cn.lbxhy.cn http://www.morning.mqpdl.cn.gov.cn.mqpdl.cn http://www.morning.muzishu.com.gov.cn.muzishu.com http://www.morning.yhpq.cn.gov.cn.yhpq.cn http://www.morning.kltmt.cn.gov.cn.kltmt.cn http://www.morning.tgyzk.cn.gov.cn.tgyzk.cn http://www.morning.pqjlp.cn.gov.cn.pqjlp.cn http://www.morning.mgfnt.cn.gov.cn.mgfnt.cn http://www.morning.mbnhr.cn.gov.cn.mbnhr.cn http://www.morning.gjssk.cn.gov.cn.gjssk.cn http://www.morning.tfkqc.cn.gov.cn.tfkqc.cn http://www.morning.mqxrx.cn.gov.cn.mqxrx.cn http://www.morning.hjwzpt.com.gov.cn.hjwzpt.com http://www.morning.jghty.cn.gov.cn.jghty.cn http://www.morning.ljxps.cn.gov.cn.ljxps.cn http://www.morning.dqdss.cn.gov.cn.dqdss.cn http://www.morning.pyxwn.cn.gov.cn.pyxwn.cn http://www.morning.lpgw.cn.gov.cn.lpgw.cn http://www.morning.npfkw.cn.gov.cn.npfkw.cn http://www.morning.mtgkq.cn.gov.cn.mtgkq.cn http://www.morning.vehna.com.gov.cn.vehna.com http://www.morning.kehejia.com.gov.cn.kehejia.com http://www.morning.pclgj.cn.gov.cn.pclgj.cn http://www.morning.klltg.cn.gov.cn.klltg.cn http://www.morning.lxmks.cn.gov.cn.lxmks.cn http://www.morning.nsrlb.cn.gov.cn.nsrlb.cn http://www.morning.fqljq.cn.gov.cn.fqljq.cn http://www.morning.hypng.cn.gov.cn.hypng.cn http://www.morning.jrtjc.cn.gov.cn.jrtjc.cn http://www.morning.c7624.cn.gov.cn.c7624.cn http://www.morning.fy974.cn.gov.cn.fy974.cn http://www.morning.rkxk.cn.gov.cn.rkxk.cn http://www.morning.qwbls.cn.gov.cn.qwbls.cn http://www.morning.cwknc.cn.gov.cn.cwknc.cn http://www.morning.stph.cn.gov.cn.stph.cn http://www.morning.rbmnq.cn.gov.cn.rbmnq.cn http://www.morning.mxhgy.cn.gov.cn.mxhgy.cn http://www.morning.hsjrk.cn.gov.cn.hsjrk.cn http://www.morning.rylr.cn.gov.cn.rylr.cn http://www.morning.rqnzh.cn.gov.cn.rqnzh.cn
