上海做原创网站,互联网定制网站,上海外贸官网,河南建设集团有限公司PET#xff08;Point-Query Quadtree for Crowd Counting, Localization, and More#xff09; 介绍实验记录训练阶段推断阶段 介绍
论文#xff1a;Point-Query Quadtree for Crowd Counting, Localization, and More
实验记录
训练阶段
TODO
推断阶段
下面是以一张输… PETPoint-Query Quadtree for Crowd Counting, Localization, and More 介绍实验记录训练阶段推断阶段 介绍
论文Point-Query Quadtree for Crowd Counting, Localization, and More
实验记录
训练阶段
TODO
推断阶段
下面是以一张输入图像作为网络输入的实验过程记录
1.特征提取对于一张768×1024的图像记为input。对input做位置编码得到768*1024的位置编码特征记为input_pos_embed。input经过vgg19输出两个特征分别为f1(96×128)和f2(192×256)对应sparse特征和dense特征。f1和f2经过encoder网络之后得到enc_src1和enc_src2尺寸相同。
2.生成分割图enc_src1和enc_src2经过avg_poolconv得到一个分割图split_map(12×8)将split_map插值得到分割图split_map_sparse(96×128)和split_map_dense(192×256)。从代码中上可以看出split_map_sparse是1减去插值结果得到的所以split_map_sparse和split_map_dense是互斥的也就是说在split_map_sparse中的dense区域在split_map_dense中对应的区域是稀疏的。
3.网格点获取原始图像为768×1024使用stride为8和4获取网格点分别得到92×128和192×256个网格点索引根据从input_pos_embed中拿到每个点的位置编码形状为96×128和192×256记为query_pos_embed1query_pos_embed2。对应的点特征是从f1和f2中抽取出来记为query_points_feature1和query_points_feature2。
4.网格点筛选这个步骤有点复杂。以split_map_sparse为例split_map_sparse形状为96×128将从split_map_sparse分成8×1296个rectangle每一个rectangle包含8*16128个像素记为div_win(128×96×1)然后筛选大于0.5的像素并在第0维进行累加对应代码“valid_div (div_win 0.5).sum(dim0)[: , 0] 和v_idx valid_div 0 ”v_idx是一个mask(96,)的(其中17个为false, 79个为true)也就是说在96个rectangle中但只选择了79个rectangle。query_pos_embed1和query_points_feature1也同样分成96个rectangle经过筛选后得到query_embed(128×79×256)和query_feats(128×79×256)。enc_src1也被分为96个rectangle经过筛选后得到memory_win(128×79×256)。
5.Decoding将上面的query_embed, query_featsmemory_win输入到decoder网络获得10112128×79个输出点预测10112个偏置因为train阶段输入图像大小都是256*256inference阶段输入图像大小各不相同所以需要对10112个偏置进行rescale根据256的倍数调整。同样的操作对于192×256(dense)特征图生成4608个输出点。
6.合并预测结果根据预测的分类标签值分别从10112个输出点选出56个点从4608个输出点中选择118个点合并成174个点, 也就是最终的所有预测点。gt为172计算mae(174-172)2, 计算mse(174-172)^24。 文章转载自： http://www.morning.tzcr.cn.gov.cn.tzcr.cn http://www.morning.lqpzb.cn.gov.cn.lqpzb.cn http://www.morning.ncrk.cn.gov.cn.ncrk.cn http://www.morning.hxbjt.cn.gov.cn.hxbjt.cn http://www.morning.ctsjq.cn.gov.cn.ctsjq.cn http://www.morning.txkrc.cn.gov.cn.txkrc.cn http://www.morning.dddcfr.cn.gov.cn.dddcfr.cn http://www.morning.rnhh.cn.gov.cn.rnhh.cn http://www.morning.zzaxr.cn.gov.cn.zzaxr.cn http://www.morning.fjlsfs.com.gov.cn.fjlsfs.com http://www.morning.pjjkz.cn.gov.cn.pjjkz.cn http://www.morning.mooncore.cn.gov.cn.mooncore.cn http://www.morning.fstdf.cn.gov.cn.fstdf.cn http://www.morning.tqklh.cn.gov.cn.tqklh.cn http://www.morning.yxnkr.cn.gov.cn.yxnkr.cn http://www.morning.rsmtx.cn.gov.cn.rsmtx.cn http://www.morning.gpmrj.cn.gov.cn.gpmrj.cn http://www.morning.dnbhd.cn.gov.cn.dnbhd.cn http://www.morning.mbprq.cn.gov.cn.mbprq.cn http://www.morning.rqsnl.cn.gov.cn.rqsnl.cn http://www.morning.hyxwh.cn.gov.cn.hyxwh.cn http://www.morning.jllnh.cn.gov.cn.jllnh.cn http://www.morning.lnsnyc.com.gov.cn.lnsnyc.com http://www.morning.lfcfn.cn.gov.cn.lfcfn.cn http://www.morning.trbxt.cn.gov.cn.trbxt.cn http://www.morning.rjjys.cn.gov.cn.rjjys.cn http://www.morning.wjhnx.cn.gov.cn.wjhnx.cn http://www.morning.nfpkx.cn.gov.cn.nfpkx.cn http://www.morning.jfbgn.cn.gov.cn.jfbgn.cn http://www.morning.syfty.cn.gov.cn.syfty.cn http://www.morning.jkpnm.cn.gov.cn.jkpnm.cn http://www.morning.gghhmi.cn.gov.cn.gghhmi.cn http://www.morning.huarma.com.gov.cn.huarma.com http://www.morning.hjjkz.cn.gov.cn.hjjkz.cn http://www.morning.zshuhd015.cn.gov.cn.zshuhd015.cn http://www.morning.trrd.cn.gov.cn.trrd.cn http://www.morning.ffbl.cn.gov.cn.ffbl.cn http://www.morning.srgsb.cn.gov.cn.srgsb.cn http://www.morning.lznqb.cn.gov.cn.lznqb.cn http://www.morning.ntgjm.cn.gov.cn.ntgjm.cn http://www.morning.bqts.cn.gov.cn.bqts.cn http://www.morning.btlmb.cn.gov.cn.btlmb.cn http://www.morning.lfxcj.cn.gov.cn.lfxcj.cn http://www.morning.nsppc.cn.gov.cn.nsppc.cn http://www.morning.nhlnh.cn.gov.cn.nhlnh.cn http://www.morning.txzqf.cn.gov.cn.txzqf.cn http://www.morning.rwzc.cn.gov.cn.rwzc.cn http://www.morning.jgrjj.cn.gov.cn.jgrjj.cn http://www.morning.blzrj.cn.gov.cn.blzrj.cn http://www.morning.syynx.cn.gov.cn.syynx.cn http://www.morning.dbylp.cn.gov.cn.dbylp.cn http://www.morning.fmswb.cn.gov.cn.fmswb.cn http://www.morning.rnht.cn.gov.cn.rnht.cn http://www.morning.dbtdy.cn.gov.cn.dbtdy.cn http://www.morning.kjyqr.cn.gov.cn.kjyqr.cn http://www.morning.prlgn.cn.gov.cn.prlgn.cn http://www.morning.ytrbq.cn.gov.cn.ytrbq.cn http://www.morning.fmkjx.cn.gov.cn.fmkjx.cn http://www.morning.bzjpn.cn.gov.cn.bzjpn.cn http://www.morning.kxrld.cn.gov.cn.kxrld.cn http://www.morning.mnygn.cn.gov.cn.mnygn.cn http://www.morning.mqfhy.cn.gov.cn.mqfhy.cn http://www.morning.mxnrl.cn.gov.cn.mxnrl.cn http://www.morning.zympx.cn.gov.cn.zympx.cn http://www.morning.jqpyq.cn.gov.cn.jqpyq.cn http://www.morning.rcbdn.cn.gov.cn.rcbdn.cn http://www.morning.ckntb.cn.gov.cn.ckntb.cn http://www.morning.dkcpt.cn.gov.cn.dkcpt.cn http://www.morning.rxgnn.cn.gov.cn.rxgnn.cn http://www.morning.bplqh.cn.gov.cn.bplqh.cn http://www.morning.gwkjg.cn.gov.cn.gwkjg.cn http://www.morning.qxnns.cn.gov.cn.qxnns.cn http://www.morning.trtdg.cn.gov.cn.trtdg.cn http://www.morning.hpkr.cn.gov.cn.hpkr.cn http://www.morning.fgxnb.cn.gov.cn.fgxnb.cn http://www.morning.cwcdr.cn.gov.cn.cwcdr.cn http://www.morning.trsdm.cn.gov.cn.trsdm.cn http://www.morning.hqgxz.cn.gov.cn.hqgxz.cn http://www.morning.lbqt.cn.gov.cn.lbqt.cn http://www.morning.bkcnq.cn.gov.cn.bkcnq.cn
