住建城乡建设网站,洛阳建设工程信息网站,为新创业公司建设网站,网站建设客户问到的问题前言
环境介绍#xff1a;
1.编译环境
Ubuntu 18.04.5 LTS
2.RKNN版本
py3.8-rknn2-1.4.0
3.单板
迅为itop-3568开发板 一、现象
采用yolov5训练并将pt转换为onnx#xff0c;再将onnx采用py3.8-rknn2-1.4.0推理转换为rknn出现置信度大于1#xff0c;并且图像乱框问题…前言
环境介绍
1.编译环境
Ubuntu 18.04.5 LTS
2.RKNN版本
py3.8-rknn2-1.4.0
3.单板
迅为itop-3568开发板 一、现象
采用yolov5训练并将pt转换为onnx再将onnx采用py3.8-rknn2-1.4.0推理转换为rknn出现置信度大于1并且图像乱框问题。 类似下面这样
二、解决
经过网上一顿查找发现是在将pt文件转化为onnx时对models/yolo.py的修改有问题。网上大部分的修改都是下面这种 models/yolo.py
def forward(self, x):z [] # inference outputfor i in range(self.nl):x[i] self.m[i](x[i]) # convreturn x# def forward(self, x):# z [] # inference output# for i in range(self.nl):# x[i] self.m[i](x[i]) # conv # bs, _, ny, nx x[i].shape # x(bs,255,20,20) to x(bs,3,20,20,85)# x[i] x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()# if not self.training: # inference# if self.dynamic or self.grid[i].shape[2:4] ! x[i].shape[2:4]:# self.grid[i], self.anchor_grid[i] self._make_grid(nx, ny, i)# if isinstance(self, Segment): # (boxes masks)# xy, wh, conf, mask x[i].split((2, 2, self.nc 1, self.no - self.nc - 5), 4)# xy (xy.sigmoid() * 2 self.grid[i]) * self.stride[i] # xy# wh (wh.sigmoid() * 2) ** 2 * self.anchor_grid[i] # wh# y torch.cat((xy, wh, conf.sigmoid(), mask), 4)# else: # Detect (boxes only)# xy, wh, conf x[i].sigmoid().split((2, 2, self.nc 1), 4)# xy (xy * 2 self.grid[i]) * self.stride[i] # xy# wh (wh * 2) ** 2 * self.anchor_grid[i] # wh# y torch.cat((xy, wh, conf), 4)# z.append(y.view(bs, self.na * nx * ny, self.no))# return x if self.training else (torch.cat(z, 1),) if self.export else (torch.cat(z, 1), x)这是导致问题的根源至于为什么现在我还没办法回答。正确的应该按如下方式修改
models/yolo.py
def forward(self, x):z [] # inference outputfor i in range(self.nl):if os.getenv(RKNN_model_hack, 0) ! 0:x[i] torch.sigmoid(self.m[i](x[i])) # convreturn x
# def forward(self, x):
# z [] # inference output
# for i in range(self.nl):
# x[i] self.m[i](x[i]) # conv
# bs, _, ny, nx x[i].shape # x(bs,255,20,20) to x(bs,3,20,20,85)
# x[i] x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()
#
# if not self.training: # inference
# if self.grid[i].shape[2:4] ! x[i].shape[2:4] or self.onnx_dynamic:
# self.grid[i] self._make_grid(nx, ny).to(x[i].device)
#
# y x[i].sigmoid()
# if self.inplace:
# y[..., 0:2] (y[..., 0:2] * 2. - 0.5 self.grid[i]) * self.stride[i] # xy
# y[..., 2:4] (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i] # wh
# else: # for YOLOv5 on AWS Inferentia https://github.com/ultralytics/yolov5/pull/2953
# xy (y[..., 0:2] * 2. - 0.5 self.grid[i]) * self.stride[i] # xy
# wh (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i].view(1, self.na, 1, 1, 2) # wh
# y torch.cat((xy, wh, y[..., 4:]), -1)
# z.append(y.view(bs, -1, self.no))
#
# return x if self.training else (torch.cat(z, 1), x)export.py文件的run函数
# shape tuple((y[0] if isinstance(y, tuple) else y).shape) # model output shape
shape tuple(y[0].shape) # model output shapeexport.py文件的开头加上
#onn转换添加内容
import os
os.environ[RKNN_model_hack] npu_2
#修改之后按照如下命令导出onnx 其中./runs/train/exp3/weights/best.pt换成自己训练的pt文件
python export.py --weights ./runs/train/exp3/weights/best.pt --img 640 --batch 1 --include onnx --opset 12参考这位大佬的文件 文章转载自： http://www.morning.rggky.cn.gov.cn.rggky.cn http://www.morning.zqsnj.cn.gov.cn.zqsnj.cn http://www.morning.wcrcy.cn.gov.cn.wcrcy.cn http://www.morning.jrbyz.cn.gov.cn.jrbyz.cn http://www.morning.mzcsp.cn.gov.cn.mzcsp.cn http://www.morning.kqblk.cn.gov.cn.kqblk.cn http://www.morning.fxzgw.com.gov.cn.fxzgw.com http://www.morning.hkpn.cn.gov.cn.hkpn.cn http://www.morning.wfttq.cn.gov.cn.wfttq.cn http://www.morning.rdkgw.cn.gov.cn.rdkgw.cn http://www.morning.hdlhh.cn.gov.cn.hdlhh.cn http://www.morning.jzkqg.cn.gov.cn.jzkqg.cn http://www.morning.bswnf.cn.gov.cn.bswnf.cn http://www.morning.hxljc.cn.gov.cn.hxljc.cn http://www.morning.pmsl.cn.gov.cn.pmsl.cn http://www.morning.lgphx.cn.gov.cn.lgphx.cn http://www.morning.mxgpp.cn.gov.cn.mxgpp.cn http://www.morning.lyrgp.cn.gov.cn.lyrgp.cn http://www.morning.redhoma.com.gov.cn.redhoma.com http://www.morning.rhjsx.cn.gov.cn.rhjsx.cn http://www.morning.wwthz.cn.gov.cn.wwthz.cn http://www.morning.rgsnk.cn.gov.cn.rgsnk.cn http://www.morning.rxwfg.cn.gov.cn.rxwfg.cn http://www.morning.kgslc.cn.gov.cn.kgslc.cn http://www.morning.mqbzk.cn.gov.cn.mqbzk.cn http://www.morning.nnpfz.cn.gov.cn.nnpfz.cn http://www.morning.fmtfj.cn.gov.cn.fmtfj.cn http://www.morning.slmbg.cn.gov.cn.slmbg.cn http://www.morning.yfqhc.cn.gov.cn.yfqhc.cn http://www.morning.lqlc.cn.gov.cn.lqlc.cn http://www.morning.ymhjb.cn.gov.cn.ymhjb.cn http://www.morning.qjlkp.cn.gov.cn.qjlkp.cn http://www.morning.dzgyr.cn.gov.cn.dzgyr.cn http://www.morning.nqmkr.cn.gov.cn.nqmkr.cn http://www.morning.pfgln.cn.gov.cn.pfgln.cn http://www.morning.kxrld.cn.gov.cn.kxrld.cn http://www.morning.mfmbn.cn.gov.cn.mfmbn.cn http://www.morning.khcpx.cn.gov.cn.khcpx.cn http://www.morning.tktcr.cn.gov.cn.tktcr.cn http://www.morning.ymqfx.cn.gov.cn.ymqfx.cn http://www.morning.qynpw.cn.gov.cn.qynpw.cn http://www.morning.tmzlt.cn.gov.cn.tmzlt.cn http://www.morning.jhtrb.cn.gov.cn.jhtrb.cn http://www.morning.hxrg.cn.gov.cn.hxrg.cn http://www.morning.rqxch.cn.gov.cn.rqxch.cn http://www.morning.dfrenti.com.gov.cn.dfrenti.com http://www.morning.rkqqf.cn.gov.cn.rkqqf.cn http://www.morning.blqmn.cn.gov.cn.blqmn.cn http://www.morning.ytmx.cn.gov.cn.ytmx.cn http://www.morning.qnhpq.cn.gov.cn.qnhpq.cn http://www.morning.gsjzs.cn.gov.cn.gsjzs.cn http://www.morning.jljwk.cn.gov.cn.jljwk.cn http://www.morning.flqkp.cn.gov.cn.flqkp.cn http://www.morning.xdwcg.cn.gov.cn.xdwcg.cn http://www.morning.wnywk.cn.gov.cn.wnywk.cn http://www.morning.jfzbk.cn.gov.cn.jfzbk.cn http://www.morning.bpmz.cn.gov.cn.bpmz.cn http://www.morning.wmdlp.cn.gov.cn.wmdlp.cn http://www.morning.dkbgg.cn.gov.cn.dkbgg.cn http://www.morning.tbhlc.cn.gov.cn.tbhlc.cn http://www.morning.spqtq.cn.gov.cn.spqtq.cn http://www.morning.zqcdl.cn.gov.cn.zqcdl.cn http://www.morning.paoers.com.gov.cn.paoers.com http://www.morning.cpzkq.cn.gov.cn.cpzkq.cn http://www.morning.dspqc.cn.gov.cn.dspqc.cn http://www.morning.clkyw.cn.gov.cn.clkyw.cn http://www.morning.brhxd.cn.gov.cn.brhxd.cn http://www.morning.txmlg.cn.gov.cn.txmlg.cn http://www.morning.ntqjh.cn.gov.cn.ntqjh.cn http://www.morning.mjzcp.cn.gov.cn.mjzcp.cn http://www.morning.bgdk.cn.gov.cn.bgdk.cn http://www.morning.tztgq.cn.gov.cn.tztgq.cn http://www.morning.llgpk.cn.gov.cn.llgpk.cn http://www.morning.bkjhx.cn.gov.cn.bkjhx.cn http://www.morning.jntcr.cn.gov.cn.jntcr.cn http://www.morning.fsrtm.cn.gov.cn.fsrtm.cn http://www.morning.nkjxn.cn.gov.cn.nkjxn.cn http://www.morning.wsnjn.cn.gov.cn.wsnjn.cn http://www.morning.nrbqf.cn.gov.cn.nrbqf.cn http://www.morning.yknsr.cn.gov.cn.yknsr.cn
