猎聘网招聘官网app,seo手机端优化,网站建设需求调研,商城网站建设建议根据国家电力行业发展报告统计#xff0c;截止到 2018 年#xff0c;全国电网 35 千伏及以上的输电线路回路长度达到 189 万千米#xff0c;220 千伏及以上输电线路回路长度达73 万千米。截止到 2015年#xff0c;根据国家电网公司的统计 330 千伏及以上输电线路故障跳闸总… 根据国家电力行业发展报告统计截止到 2018 年全国电网 35 千伏及以上的输电线路回路长度达到 189 万千米220 千伏及以上输电线路回路长度达73 万千米。截止到 2015年根据国家电网公司的统计 330 千伏及以上输电线路故障跳闸总数中外力破坏作为主要原因的事故占到了 15.8%而其中由线上异物引发的事故占到外力破坏的55.4%。特别是一些异物的人眼辨识度不高在颜色、形状和大小上非常接近输电线上的金具更容易使得工作人员漏检进而引发电力事故或者加长了异物处理的周期。电网公司的巡检工作主要依靠人工完成,需要大量人力物力,且实时性较差。 湖北工业大学范亚雷 通过网络进行特定样本的训练使得计算机程序具有对某一类或某几类特征的高敏感度进而替代人眼实现图像中某些指定目标的识别与定位。通过新型的巡检设备替代传统的人工徒步巡检方式通过图像分类和检测技术来筛选并且定位架空输电线异物从而保障电力系统的安全可靠平稳运行。输电线的断股、输电杆塔事故、绝缘子破裂、绝缘子掉串以及输电线异物等方向都可以归类作为输电线路关键部件故障的研究内容。 提出的图像形态学方式识别和检测异物的方法其核心思路都是根据附着异物的输电线的形态特征例如线路区域的灰度值、线路区域的形状、线路区域的宽度等与正常输电线有所区别采取合适的办法提取并判断这些高区分度特征是否符合设定值来判断异物的存在。但是显而易见这类异物检测方式往往依赖于巡检图像背景与前景的分离结果作者凭借对图像处理任务的认知理解和先验知识通过图片的纹理、颜色和灰度值来设计分离算法然后对提取出的输电线路区域进行特征计算从而确定异物是否存在。其检测结果受前景提取算法参数设定和异物特征计算结果的影响很大这就导致了算法在一定程度上缺少泛化能力和在复杂背景下检测异物的能力。 采用的深度学习模型各有不同但共同特点是测试数据集中的图像都是默认存在异物的图像这就相当于在进行目标检测之前先人为分类了图像。事实上巡检所返回的大量图像中无异物的线路图像占了大多数因此文献中的实验与真实应用的场景存在差距。 2019 年全国“两会”提出“三型两网世界一流”的国家电网建设目标其内涵是以建设枢纽型、平台型、共享型为特征以坚强智能电网和泛在电力物联网为手段打造世界一流能源互联网企业。用移动互联、人工智能等现代通信和信息技术对传统电力行业赋能。截止至 2019 年南方电网已使用无人机作业超 50 万公里已全面实现“机巡为主、人巡为辅”的协同巡检模式。目前使用无人机进行线路巡检的主要挑战集中在自动驾驶、飞行时间和通信带宽等方面。 卷积核中的值叫做权重输入图像的每个位置是被同一个卷积核扫描的即卷积的时候所用的权重是一样的。这样对于每一个卷积核来说需要训练的权值参数与卷积核扫过的位置无关需要调整的参数也就被限制在一个卷积核大小的数量级内。图像识别的一般流程如下获取图像数据→数据预处理→提取特征→确定特征量并进行匹配→输出识别结果 计算机视觉中像素之间的相关性与像素之间的距离同样相关可以理解为在图像中的某一块区域中相关性强的像素间距离往往较近相关性比较弱的像素间距离则较远。局部连接即卷积层的节点仅仅与其前一层的部分节点相连接。在假设数量级为 1 0 5 10^5 105 的示例图像上若采用全连接则最终的参数量级为 1 0 11 10^{11} 1011。而局部连接大大减少了参数的数量级在10 × 10的卷积核上仅为 1 0 8 10^8 108 数量级。相比减少了 3 个数量级使网络的计算速度更快。 深度学习方法优势的体现需要大量的训练数据作为支撑缺乏合适的数据大概率会导致网络的过拟合严重的还会造成网络无法收敛。对个人构建的数据集来说数据量一般是无法达到公开数据集千万级别数据量规模的针对数据匮乏的问题需要对已有数据进行处理从而实现扩大数据量的目的。图片亮度可以通过增减图像通道R、G、B的值来调节大小值越大亮度越高。 L R B G 3 b r i k L k ∗ R B G 3 L\frac{RBG}{3}\\ brikLk*\frac{RBG}{3} L3RBGbrikLk∗3RBG 其中作为亮度变化系数表示亮度的强弱。各通道按照一定规律统一增减即可改变图像的亮度。利用深度学习对摄像装置所采集的现场图像进行分析,执行目标检测任务,若发现威胁电网安全运行的隐患将及时通知工作人员。深度学习发挥其优势需要有效样本达到一定数量,包含隐患的真实样本较少,有些异物种类甚至没有合适的样本,往往不能满足深度学习算法的训练要求。扩充样本并不是简单的增加训练集的过程,训练集样本必须联系实际使用场景,才能够使训练所得模型的性能获得提升。盲目增加无关样本可能会使模型性能下降。 对于一个分类器来说使用者更希望找到全部的分类目标即TPR越高越好但同时也不希望把分类目标以外的其他类别错分类即FPR越低越好。综上可知这两个指标存在着互相制约的关系。为了可以定量的分析一个分类器的好坏引入曲线下面积Area Under Curve, AUC的概念其被定义为ROC曲线下的面积。 接受者操作特性Receiver Operating Characteristic, ROC曲线就是将不同筛选阈值下的假阳性率和查全率交点绘制在同一个坐标系内所得到的曲线。ROC曲线的横坐标为假阳性率False Positive Rate, FPR。纵坐标为分类查全率又称作真阳性率True Positive Rate, TPR。 AUC的值越大当前的分类算法就越有可能对正样本进行排序然后再对负样本进行排序从而实现更好的分类。 T P R T P c T P c F N c F P R F P c T P c T N c A U C ∫ 0 1 T P R d ( F P R ) TPR\frac{TP_c}{TP_cFN_c}\\ FPR\frac{FP_c}{TP_cTN_c}\\ AUC\int_0^1TPRd(FPR) TPRTPcFNcTPcFPRTPcTNcFPcAUC∫01TPRd(FPR) 其中 表示分类样本中真阳性True Positive是分类器预测正确的正样本数。表示分类样本中真阴性True Negative是分类器预测正确的负样本数。表示分类样本中假阳性False Positive是分类器预测错误的负样本数。 由于电力巡检任务的特殊性输电线上异物的漏检危害比误检更大因此本文侧重对分类器100%查全率指标的研究。本文选取InceptionV3-retrain模型作为输电线异物图像分类器的主要研究对象其分类异物图像的总流程如下图所示。图中蓝色框的内容为算法的训练过程本文通过训练集数据增强、修改网络结构和权重微调对模型进行训练。绿色框的内容为算法的测试流程。测试时测试集中正常图像和异物图像共同作为分类器的输入输出图像为全部的含有异物图像和部分分类错的正常图像。 在实际的巡检应用中巡检图像承载着更为直观、丰富的巡检线路信息。红外影像和雷达成像等技术受环境影响较大比如在停电情况下或者周围环境中存在其他电磁干扰与干扰热源时其呈现的图像无法让工作人员直接判断现场情况从而拖延事故处理速度。计算机视觉的核心之一是图像分类特征描述及检测是其运用的普遍方式对于一些简单的图像分类这类传统方法可能是有效的但由于实际情况非常复杂传统的分类方法不堪重负。卷积神经网络在经过大量数据训练后特征提取能力得到加强目前主流的图像分类模型都是基于这种卷积结构。 输电线上异物检测作为智能电网和无人巡检系统中的重要组成部分对于减少人力资源的浪费、提高巡线效率以及降低安全风险具有重要意义。基于深度学习的图像分类和目标检测技术在近年来取得了巨大的突破但是该技术如何在输电线异物检测任务上进行运用仍是一个值得探索和研究的问题。 yolo数据集标注格式主要是 U版本[yolov5]项目需要用到。标签使用txt文本进行保存。yolo标注格式如下所示 object-class x y width height
# object-class对象的标签索引
# xy目标的中心坐标相对于图片的H和W做归一化。即x/Wy/H。
# widthheight目标bbox的宽和高相对于图像的H和W做归一化。VOC数据集由五个部分构成JPEGImagesAnnotationsImageSetsSegmentationClass以及SegmentationObject. JPEGImages存放的是训练与测试的所有图片。 Annotations里面存放的是每张图片打完标签所对应的XML文件。 ImageSetsImageSets文件夹下本次讨论的只有Main文件夹此文件夹中存放的主要又有四个文本文件test.txt、train.txt、trainval.txt、val.txt, 其中分别存放的是测试集图片的文件名、训练集图片的文件名、训练验证集图片的文件名、验证集图片的文件名。 SegmentationClass与SegmentationObject存放的都是图片且都是图像分割结果图对目标检测任务来说没有用。class segmentation 标注出每一个像素的类别 object segmentation 标注出每一个像素属于哪一个物体。 voc数据集的标签主要以xml文件形式进行存放。xml文件的标注格式如下 annotationfolder17/folder # 图片所处文件夹filename77258.bmp/filename # 图片名path~/frcnn-image/61/ADAS/image/frcnn-image/17/77258.bmp/pathsource #图片来源相关信息databaseUnknown/database /sourcesize #图片尺寸width640/widthheight480/heightdepth3/depth/sizesegmented0/segmented #是否有分割labelobject 包含的物体namecar/name #物体类别poseUnspecified/pose #物体的姿态truncated0/truncated #物体是否被部分遮挡15%difficult0/difficult #是否为难以辨识的物体 主要指要结体背景才能判断出类别的物体。虽有标注 但一般忽略这类物体bndbox #物体的bound boxxmin2/xmin #左ymin156/ymin #上xmax111/xmax #右ymax259/ymax #下/bndbox/object
/annotation自制VOC数据集按照VOC2007的数据集格式要求分别创建文件夹VOCdevkit、VOC2007、Annotations、ImageSets、Main和JPEGImages它们的层级结构如下所示 └─VOCdevkit└─VOC2007├─Annotations├─ImageSets│ └─Main└─JPEGImages其中Annotations用来存放xml标注文件JPEGImages用来存放图片文件而ImageSets/Main存放几个txt文本文件文件的内容是训练集、验证集和测试集中图片的名称(去掉扩展名)这几个文本文件是需要人为生成的。使用开源工具 [labelImg]对图片进行标注导出的数据集格式为PASCAL VOC待数据标注完成后可以看到文件夹是下面这个样子的标注文件xml和图片文件混在了一起。将images文件夹中的图片文件拷贝到JPEGImages文件夹中将images文件中的xml标注文件拷贝到Annotations文件夹中。 接下来新建一个脚本把它放在VOCdevkit/VOC2007文件夹下 import os
import random
# 训练集和验证集的比例分配
trainval_percent 0.1
train_percent 0.9
# 标注文件的路径
xmlfilepath Annotations
# 生成的txt文件存放路径
txtsavepath ImageSets\Main
total_xml os.listdir(xmlfilepath)
num len(total_xml)
list range(num)
tv int(num * trainval_percent)
tr int(tv * train_percent)
trainval random.sample(list, tv)
train random.sample(trainval, tr)
ftrainval open(ImageSets/Main/trainval.txt, w)
ftest open(ImageSets/Main/test.txt, w)
ftrain open(ImageSets/Main/train.txt, w)
fval open(ImageSets/Main/val.txt, w)
for i in list:name total_xml[i][:-4] \nif i in trainval:ftrainval.write(name)if i in train:ftest.write(name)else:fval.write(name)else:ftrain.write(name)ftrainval.close()
ftrain.close()
fval.close()
ftest.close()将需要训练、验证、测试的图片绝对路径写到对应的txt文件中 import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
# 原始脚本中包含了VOC2012这里把它删除
# sets[(2012, train), (2012, val), (2007, train), (2007, val), (2007, test)]
sets[(2007, train), (2007, val), (2007, test)]
# classes也需要根据自己的实际情况修改
# classes [aeroplane, bicycle, bird, boat, bottle, bus, car, cat, chair, cow, diningtable, dog, horse, motorbike, person, pottedplant, sheep, sofa, train, tvmonitor]
classes [class_one]
def convert(size, box):dw 1./size[0]dh 1./size[1]x (box[0] box[1])/2.0y (box[2] box[3])/2.0w box[1] - box[0]h box[3] - box[2]x x*dww w*dwy y*dhh h*dhreturn (x,y,w,h)
def convert_annotation(year, image_id):in_file open(VOCdevkit/VOC%s/Annotations/%s.xml%(year, image_id))out_file open(VOCdevkit/VOC%s/labels/%s.txt%(year, image_id), w)treeET.parse(in_file)root tree.getroot()size root.find(size)w int(size.find(width).text)h int(size.find(height).text)for obj in root.iter(object):difficult obj.find(difficult).textcls obj.find(name).textif cls not in classes or int(difficult) 1:continuecls_id classes.index(cls)xmlbox obj.find(bndbox)b (float(xmlbox.find(xmin).text), float(xmlbox.find(xmax).text), float(xmlbox.find(ymin).text), float(xmlbox.find(ymax).text))bb convert((w,h), b)out_file.write(str(cls_id) .join([str(a) for a in bb]) \n)
wd getcwd()
for year, image_set in sets:if not os.path.exists(VOCdevkit/VOC%s/labels/%(year)):os.makedirs(VOCdevkit/VOC%s/labels/%(year))image_ids open(VOCdevkit/VOC%s/ImageSets/Main/%s.txt%(year, image_set)).read().strip().split()list_file open(%s_%s.txt%(year, image_set), w)for image_id in image_ids:list_file.write(%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg\n%(wd, year, image_id))convert_annotation(year, image_id)list_file.close()执行上述脚本后在VOCdevkit同级目录就会生成2007_train.txt、2007_val.txt、2007_test.txt。 准备转换脚本voc2yolo.py部分注释写在代码里.(将所有图片存放在images文件夹xml标注文件放在Annotations文件夹然后创建一个文件夹labels) import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
# 根据自己情况修改
classes [class_one]
def convert(size, box):dw 1. / size[0]dh 1. / size[1]x (box[0] box[1]) / 2.0y (box[2] box[3]) / 2.0w box[1] - box[0]h box[3] - box[2]x x * dww w * dwy y * dhh h * dhreturn (x, y, w, h)
def convert_annotation(image_id):if not os.path.exists(Annotations/%s.xml % (image_id)):returnin_file open(annotations/%s.xml % (image_id))out_file open(labels/%s.txt % (image_id), w)tree ET.parse(in_file)root tree.getroot()size root.find(size)w int(size.find(width).text)h int(size.find(height).text)for obj in root.iter(object):cls obj.find(name).textif cls not in classes:continuecls_id classes.index(cls)xmlbox obj.find(bndbox)b (float(xmlbox.find(xmin).text), float(xmlbox.find(xmax).text), float(xmlbox.find(ymin).text),float(xmlbox.find(ymax).text))bb convert((w, h), b)out_file.write(str(cls_id) .join([str(a) for a in bb]) \n)
for image in os.listdir(images):# 这里需要根据图片情况进行对应修改。比如图片名称是123.456.jpg这里就会出错了。一般来讲如果图片格式固定如全都是jpg那就image_idimage[:-4]处理就好了。总之情况比较多自己看着办哈哈image_id image.split(.)[0]convert_annotation(image_id)执行上述脚本后labels文件夹就会生成txt格式的标注文件了,yolov5训练时使用的数据集结构是这样的 ├─test
│ ├─images
│ └─labels
├─train
│ ├─images
│ └─labels
└─valid├─images└─labels因此还需要将图片文件和对应的txt标签文件再进行一次划分首先创建外层的train、valid、test文件夹然后在每个文件夹底下都分别创建images和labels文件夹.接下来可以使用下面的脚本将图片和标签文件按照比例进行划分 import os
import shutil
import random
# 训练集、验证集和测试集的比例分配
test_percent 0.1
valid_percent 0.2
train_percent 0.7
# 标注文件的路径
image_path images
label_path labels
images_files_list os.listdir(image_path)
labels_files_list os.listdir(label_path)
print(images files: {}.format(images_files_list))
print(labels files: {}.format(labels_files_list))
total_num len(images_files_list)
print(total_num: {}.format(total_num))
test_num int(total_num * test_percent)
valid_num int(total_num * valid_percent)
train_num int(total_num * train_percent)
# 对应文件的索引
test_image_index random.sample(range(total_num), test_num)
valid_image_index random.sample(range(total_num), valid_num)
train_image_index random.sample(range(total_num), train_num)
for i in range(total_num):print(src image: {}, i{}.format(images_files_list[i], i))if i in test_image_index:# 将图片和标签文件拷贝到对应文件夹下shutil.copyfile(images/{}.format(images_files_list[i]), test/images/{}.format(images_files_list[i]))shutil.copyfile(labels/{}.format(labels_files_list[i]), test/labels/{}.format(labels_files_list[i]))elif i in valid_image_index:shutil.copyfile(images/{}.format(images_files_list[i]), valid/images/{}.format(images_files_list[i]))shutil.copyfile(labels/{}.format(labels_files_list[i]), valid/labels/{}.format(labels_files_list[i]))else:shutil.copyfile(images/{}.format(images_files_list[i]), train/images/{}.format(images_files_list[i]))shutil.copyfile(labels/{}.format(labels_files_list[i]), train/labels/{}.format(labels_files_list[i]))执行代码后可以看到类似文件层级结构 ─test
│ ├─images
│ │ aaa.jpg
│ │ bbb.jpg
│ │
│ └─labels
│ aaa.txt
│ bbb.txt
│
├─train
│ ├─images
│ │ xxx.jpg
│ │
│ └─labels
│ xxx.txt
│
└─valid├─images│ 111.jpg│└─labels111.txt如果拿到了txt的标注但是需要使用VOC也需要进行转换。看下面这个脚本注释写在代码中 import os
import xml.etree.ElementTree as ET
from PIL import Image
import numpy as np
# 图片文件夹后面的/不能省
img_path images/
# txt文件夹后面的/不能省
labels_path labels/
# xml存放的文件夹后面的/不能省
annotations_path Annotations/
labels os.listdir(labels_path)
# 类别
classes [class_one]
# 图片的高度、宽度、深度
sh sw sd 0
def write_xml(imgname, sw, sh, sd, filepath, labeldicts):imgname: 没有扩展名的图片名称# 创建Annotation根节点root ET.Element(Annotation)# 创建filename子节点无扩展名 ET.SubElement(root, filename).text str(imgname) # 创建size子节点 sizes ET.SubElement(root,size) ET.SubElement(sizes, width).text str(sw)ET.SubElement(sizes, height).text str(sh)ET.SubElement(sizes, depth).text str(sd) for labeldict in labeldicts:objects ET.SubElement(root, object) ET.SubElement(objects, name).text labeldict[name]ET.SubElement(objects, pose).text UnspecifiedET.SubElement(objects, truncated).text 0ET.SubElement(objects, difficult).text 0bndbox ET.SubElement(objects,bndbox)ET.SubElement(bndbox, xmin).text str(int(labeldict[xmin]))ET.SubElement(bndbox, ymin).text str(int(labeldict[ymin]))ET.SubElement(bndbox, xmax).text str(int(labeldict[xmax]))ET.SubElement(bndbox, ymax).text str(int(labeldict[ymax]))tree ET.ElementTree(root)tree.write(filepath, encodingutf-8)
for label in labels:with open(labels_path label, r) as f:img_id os.path.splitext(label)[0]contents f.readlines()labeldicts []for content in contents:# 这里要看图片格式了这里是jpg注意修改img np.array(Image.open(img_path label.strip(.txt) .jpg))# 图片的高度和宽度sh, sw, sd img.shape[0], img.shape[1], img.shape[2]content content.strip(\n).split()x float(content[1])*swy float(content[2])*shw float(content[3])*swh float(content[4])*sh# 坐标的转换x_center y_center width height - xmin ymin xmax ymaxnew_dict {name: classes[int(content[0])],difficult: 0,xmin: x1-w/2, ymin: y1-h/2,xmax: x1w/2,ymax: y1h/2}labeldicts.append(new_dict)write_xml(img_id, sw, sh, sd, annotations_path label.strip(.txt) .xml, labeldicts)
