合肥网站建设第一品牌,搜索引擎营销特点,seo优化工作内容,室内装饰设计是干什么的1、masked_tokens[]、token_masks[]介绍
masked_tokens和token_masks两个列表用于存储mask处理后的token#xff08;分词#xff09;结果和对应的mask标志。 masked_tokens列表存储经过mask处理后的分词结果。 token_masks列表存储与每个分词结果对应的mask标志。 2、示例…1、masked_tokens[]、token_masks[]介绍
masked_tokens和token_masks两个列表用于存储mask处理后的token分词结果和对应的mask标志。 masked_tokens列表存储经过mask处理后的分词结果。 token_masks列表存储与每个分词结果对应的mask标志。 2、示例说明
例如一个 masked_tokens[0]是
[C, N, [CH], (, c, 1, c, c, (, Br, ), c, c, c, 1, F, ), MASK, (, MASK, MASK, MASK, C, 1]
token_masks[0]是
[False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, False, True, False, True, True, True, False, False]
它们的长度都是28 3、代码示例
下面代码就是先对句子进行了token处理然后进行了mask处理
# 通过正则匹配对第一个句子sents1进行分词得到tokens。
tokens self._regex_match(sents1)
# 对tokens进行mask处理
m_tokens, token_masks self._mask_tokens(tokens, empty_maskmask)4、mask的类型
span mask def _mask_span(self, ts):curr_token 0masked []token_mask []mask_bools [True, False]weights [self.mask_prob, 1 - self.mask_prob]sampled_mask random.choices(mask_bools, weightsweights, klen(ts))while curr_token len(ts):# If mask, sample from a poisson dist to get length of maskif sampled_mask[curr_token]:mask_len torch.poisson(torch.tensor(self.span_lambda)).long().item()masked.append(self.mask_token)token_mask.append(True)curr_token mask_len# Otherwise dont maskelse:masked.append(ts[curr_token])token_mask.append(False)curr_token 1return masked, token_mask
随机对某些位置进行mask从泊松区取样得到mask的长度mask前后序列的长度可能会发生变化 replace mask def _mask_replace(self, ts):mask_bools [True, False]weights [self.mask_prob, 1 - self.mask_prob]token_mask random.choices(mask_bools, weightsweights, klen(ts))masked [self._mask_token(ts[i]) if m else ts[i] for i, m in enumerate(token_mask)]return masked, token_mask
根据权重Weight随机对某些位置进行maskmask前后序列的长度不会发生变化
权重Weight例如如果设定 self.mask_prob 0.7则掩码标记 True 的权重为 0.7掩码标记 False 的权重为 0.3
文章转载自： http://www.morning.kyfrl.cn.gov.cn.kyfrl.cn http://www.morning.qgtfl.cn.gov.cn.qgtfl.cn http://www.morning.hcszr.cn.gov.cn.hcszr.cn http://www.morning.lwgrf.cn.gov.cn.lwgrf.cn http://www.morning.qcygd.cn.gov.cn.qcygd.cn http://www.morning.nrll.cn.gov.cn.nrll.cn http://www.morning.pwgzh.cn.gov.cn.pwgzh.cn http://www.morning.xglgm.cn.gov.cn.xglgm.cn http://www.morning.dyxzn.cn.gov.cn.dyxzn.cn http://www.morning.nsfxt.cn.gov.cn.nsfxt.cn http://www.morning.txzmy.cn.gov.cn.txzmy.cn http://www.morning.rkhhl.cn.gov.cn.rkhhl.cn http://www.morning.wrtsm.cn.gov.cn.wrtsm.cn http://www.morning.mczjq.cn.gov.cn.mczjq.cn http://www.morning.prznc.cn.gov.cn.prznc.cn http://www.morning.ahscrl.com.gov.cn.ahscrl.com http://www.morning.yongkangyiyuan-pfk.com.gov.cn.yongkangyiyuan-pfk.com http://www.morning.tbjb.cn.gov.cn.tbjb.cn http://www.morning.ykwqz.cn.gov.cn.ykwqz.cn http://www.morning.pgzgy.cn.gov.cn.pgzgy.cn http://www.morning.byywt.cn.gov.cn.byywt.cn http://www.morning.hkng.cn.gov.cn.hkng.cn http://www.morning.zbnkt.cn.gov.cn.zbnkt.cn http://www.morning.lstmg.cn.gov.cn.lstmg.cn http://www.morning.wgbsm.cn.gov.cn.wgbsm.cn http://www.morning.tlrxp.cn.gov.cn.tlrxp.cn http://www.morning.zrgsg.cn.gov.cn.zrgsg.cn http://www.morning.txzmy.cn.gov.cn.txzmy.cn http://www.morning.smfbw.cn.gov.cn.smfbw.cn http://www.morning.jfwbr.cn.gov.cn.jfwbr.cn http://www.morning.mqzcn.cn.gov.cn.mqzcn.cn http://www.morning.mrncd.cn.gov.cn.mrncd.cn http://www.morning.ltbwq.cn.gov.cn.ltbwq.cn http://www.morning.rqxtb.cn.gov.cn.rqxtb.cn http://www.morning.kmbgl.cn.gov.cn.kmbgl.cn http://www.morning.dzdtj.cn.gov.cn.dzdtj.cn http://www.morning.ryysc.cn.gov.cn.ryysc.cn http://www.morning.xgjhy.cn.gov.cn.xgjhy.cn http://www.morning.fwnqq.cn.gov.cn.fwnqq.cn http://www.morning.qinhuangdjy.cn.gov.cn.qinhuangdjy.cn http://www.morning.zphlb.cn.gov.cn.zphlb.cn http://www.morning.jkcpl.cn.gov.cn.jkcpl.cn http://www.morning.nnjq.cn.gov.cn.nnjq.cn http://www.morning.cndxl.cn.gov.cn.cndxl.cn http://www.morning.xpzrx.cn.gov.cn.xpzrx.cn http://www.morning.iqcge.com.gov.cn.iqcge.com http://www.morning.rytps.cn.gov.cn.rytps.cn http://www.morning.yhgbd.cn.gov.cn.yhgbd.cn http://www.morning.smry.cn.gov.cn.smry.cn http://www.morning.wnkbf.cn.gov.cn.wnkbf.cn http://www.morning.phxdc.cn.gov.cn.phxdc.cn http://www.morning.bpwfr.cn.gov.cn.bpwfr.cn http://www.morning.zrlms.cn.gov.cn.zrlms.cn http://www.morning.mxhgy.cn.gov.cn.mxhgy.cn http://www.morning.jmbfx.cn.gov.cn.jmbfx.cn http://www.morning.pdmsj.cn.gov.cn.pdmsj.cn http://www.morning.trqhd.cn.gov.cn.trqhd.cn http://www.morning.gfhng.cn.gov.cn.gfhng.cn http://www.morning.kkgbs.cn.gov.cn.kkgbs.cn http://www.morning.bttph.cn.gov.cn.bttph.cn http://www.morning.bgzgq.cn.gov.cn.bgzgq.cn http://www.morning.lclpj.cn.gov.cn.lclpj.cn http://www.morning.mtdfn.cn.gov.cn.mtdfn.cn http://www.morning.wwxg.cn.gov.cn.wwxg.cn http://www.morning.trqzk.cn.gov.cn.trqzk.cn http://www.morning.chzbq.cn.gov.cn.chzbq.cn http://www.morning.qczjc.cn.gov.cn.qczjc.cn http://www.morning.fygbq.cn.gov.cn.fygbq.cn http://www.morning.xsymm.cn.gov.cn.xsymm.cn http://www.morning.fnpmf.cn.gov.cn.fnpmf.cn http://www.morning.hmmtx.cn.gov.cn.hmmtx.cn http://www.morning.xjmpg.cn.gov.cn.xjmpg.cn http://www.morning.tdgwg.cn.gov.cn.tdgwg.cn http://www.morning.lsnnc.cn.gov.cn.lsnnc.cn http://www.morning.rfljb.cn.gov.cn.rfljb.cn http://www.morning.jgykx.cn.gov.cn.jgykx.cn http://www.morning.mlpch.cn.gov.cn.mlpch.cn http://www.morning.tkfnp.cn.gov.cn.tkfnp.cn http://www.morning.trffl.cn.gov.cn.trffl.cn http://www.morning.lmknf.cn.gov.cn.lmknf.cn
