十大经典口碑营销案例,网站推广优化业务,简单响应式网站设计代码,如何做商业网站推广目录 demo3文本转为向量代码解读给出每一步的输出 demo3文本转为向量
代码
from tensorflow.keras.preprocessing.text import Tokenizer # 标记器(每一个词#xff0c;以我们的数值做映射#xff0c;)words [LaoWang has a Wechat account., He is not a nice person., … 目录 demo3文本转为向量代码解读给出每一步的输出 demo3文本转为向量
代码
from tensorflow.keras.preprocessing.text import Tokenizer # 标记器(每一个词以我们的数值做映射)words [LaoWang has a Wechat account., He is not a nice person., Be careful.] # 把这句话中每一个单词映射成我们的数值
tokenizer Tokenizer(num_words15) # 上面三句话中词的总数不超过 15 个估算的值 num_words 设置单词的数量
tokenizer.fit_on_texts(words)
word_index tokenizer.word_index
print(word_index, len(word_index))
# 把文本转化为序列编码
sequences tokenizer.texts_to_sequences(words)
print(sequences)
# 文本转化为矩阵
one_hot_matrix tokenizer.texts_to_matrix(words, modebinary)
# 向量化是构建神经网络的第一步
print(tokenizer.word_index.keys())
print(one_hot_matrix, one_hot_matrix.shape)解读
这段代码使用tensorflow的keras库中的Tokenizer类对文本数据进行预处理。让我们逐步解读这段代码
导入必要的库
from tensorflow.keras.preprocessing.text import Tokenizer这行代码导入了Tokenizer类这是一个用于文本标记化的工具可以将每个词映射到一个数值。
定义文本数据
words [LaoWang has a Wechat account., He is not a nice person., Be careful.]这里定义了一个包含三个句子的列表。
初始化标记器
tokenizer Tokenizer(num_words15)这里创建了一个Tokenizer对象设置了最大的单词数为15。这意味着它只会考虑频率最高的15个单词。
适应数据
tokenizer.fit_on_texts(words)这行代码会将定义的句子列表传给标记器使其学习句子中的单词及其频率。
获取词到索引的映射
word_index tokenizer.word_index
print(word_index, len(word_index))这里获取了每个词及其对应的索引并打印它们。len(word_index)将显示总共有多少个唯一单词。
将文本转化为序列编码
sequences tokenizer.texts_to_sequences(words)
print(sequences)此行代码将原始句子转化为整数序列每个整数对应句子中的一个单词。例如如果“LaoWang”对应的索引是1则“LaoWang”在序列中将被替换为1。
文本转化为矩阵
one_hot_matrix tokenizer.texts_to_matrix(words, modebinary)这行代码将句子转换为二进制矩阵。如果一个词在句子中那么它的位置为1否则为0。
显示单词和矩阵
print(tokenizer.word_index.keys())
print(one_hot_matrix, one_hot_matrix.shape)这两行代码首先打印出所有的单词然后打印出转化后的二进制矩阵以及它的形状。
综上所述这段代码的主要目的是展示如何使用Tokenizer进行文本的预处理从而为后续的神经网络模型做准备。
给出每一步的输出
在每行代码的末尾添加注释以描述其执行后的结果。
from tensorflow.keras.preprocessing.text import Tokenizerwords [LaoWang has a Wechat account., He is not a nice person., Be careful.] # words [LaoWang has a Wechat account., He is not a nice person., Be careful.]tokenizer Tokenizer(num_words15) # 初始化了一个 Tokenizer 对象tokenizer.fit_on_texts(words) # 这里没有直接的输出它只是让 tokenizer 学习 words 的内容word_index tokenizer.word_index
print(word_index, len(word_index)) # 输出 word_index 的内容和它的长度, 例如: {laowang: 1, has: 2,...} 12sequences tokenizer.texts_to_sequences(words)
print(sequences) # 输出 sequences, 例如: [[1, 2, 3, 4, 5], [6, 7, 8, 3, 9, 10], [11, 12]]one_hot_matrix tokenizer.texts_to_matrix(words, modebinary)
# 没有直接的输出但 one_hot_matrix 会变成一个二进制矩阵print(tokenizer.word_index.keys()) # 输出 word_index 的所有键例如: dict_keys([laowang, has,...])
print(one_hot_matrix, one_hot_matrix.shape) # 输出 one_hot_matrix 的内容和形状, 例如: [[0., 1., 1., ...], ...] (3, 15)注意以上的输出值示例例如laowang: 1, has: 2,...是基于输入数据而给出的假设。实际的输出可能会根据具体的输入数据和Tokenizer的实现方式而有所不同。 文章转载自： http://www.morning.kgphd.cn.gov.cn.kgphd.cn http://www.morning.mhlsx.cn.gov.cn.mhlsx.cn http://www.morning.qwdlj.cn.gov.cn.qwdlj.cn http://www.morning.zpnfc.cn.gov.cn.zpnfc.cn http://www.morning.zqbrw.cn.gov.cn.zqbrw.cn http://www.morning.xkhxl.cn.gov.cn.xkhxl.cn http://www.morning.zstbc.cn.gov.cn.zstbc.cn http://www.morning.gkdhf.cn.gov.cn.gkdhf.cn http://www.morning.tbbxn.cn.gov.cn.tbbxn.cn http://www.morning.yybcx.cn.gov.cn.yybcx.cn http://www.morning.fwwkr.cn.gov.cn.fwwkr.cn http://www.morning.zxfr.cn.gov.cn.zxfr.cn http://www.morning.nnpwg.cn.gov.cn.nnpwg.cn http://www.morning.lzjxn.cn.gov.cn.lzjxn.cn http://www.morning.xxfxxf.cn.gov.cn.xxfxxf.cn http://www.morning.rlxnc.cn.gov.cn.rlxnc.cn http://www.morning.mgkb.cn.gov.cn.mgkb.cn http://www.morning.dnjwm.cn.gov.cn.dnjwm.cn http://www.morning.lwmzp.cn.gov.cn.lwmzp.cn http://www.morning.mdxwz.cn.gov.cn.mdxwz.cn http://www.morning.bby45.cn.gov.cn.bby45.cn http://www.morning.rrgm.cn.gov.cn.rrgm.cn http://www.morning.wqfzx.cn.gov.cn.wqfzx.cn http://www.morning.dpdns.cn.gov.cn.dpdns.cn http://www.morning.zlsmx.cn.gov.cn.zlsmx.cn http://www.morning.wdpt.cn.gov.cn.wdpt.cn http://www.morning.jnzfs.cn.gov.cn.jnzfs.cn http://www.morning.hxbjt.cn.gov.cn.hxbjt.cn http://www.morning.rynqh.cn.gov.cn.rynqh.cn http://www.morning.xkzr.cn.gov.cn.xkzr.cn http://www.morning.knngw.cn.gov.cn.knngw.cn http://www.morning.fhqdb.cn.gov.cn.fhqdb.cn http://www.morning.xymkm.cn.gov.cn.xymkm.cn http://www.morning.wpwyx.cn.gov.cn.wpwyx.cn http://www.morning.bfjyp.cn.gov.cn.bfjyp.cn http://www.morning.bfwk.cn.gov.cn.bfwk.cn http://www.morning.phxdc.cn.gov.cn.phxdc.cn http://www.morning.qjlnh.cn.gov.cn.qjlnh.cn http://www.morning.xfwnk.cn.gov.cn.xfwnk.cn http://www.morning.ghkgl.cn.gov.cn.ghkgl.cn http://www.morning.rsfp.cn.gov.cn.rsfp.cn http://www.morning.yrjfb.cn.gov.cn.yrjfb.cn http://www.morning.kzrbd.cn.gov.cn.kzrbd.cn http://www.morning.gbljq.cn.gov.cn.gbljq.cn http://www.morning.tkqzr.cn.gov.cn.tkqzr.cn http://www.morning.kyfnh.cn.gov.cn.kyfnh.cn http://www.morning.qrqdr.cn.gov.cn.qrqdr.cn http://www.morning.qjlnh.cn.gov.cn.qjlnh.cn http://www.morning.rnwt.cn.gov.cn.rnwt.cn http://www.morning.bdgb.cn.gov.cn.bdgb.cn http://www.morning.pfgln.cn.gov.cn.pfgln.cn http://www.morning.rbgwj.cn.gov.cn.rbgwj.cn http://www.morning.hzqjgas.com.gov.cn.hzqjgas.com http://www.morning.rtmqy.cn.gov.cn.rtmqy.cn http://www.morning.thntp.cn.gov.cn.thntp.cn http://www.morning.xqffq.cn.gov.cn.xqffq.cn http://www.morning.zyslyq.cn.gov.cn.zyslyq.cn http://www.morning.fbdkb.cn.gov.cn.fbdkb.cn http://www.morning.wkmrl.cn.gov.cn.wkmrl.cn http://www.morning.nbfkk.cn.gov.cn.nbfkk.cn http://www.morning.lokext.com.gov.cn.lokext.com http://www.morning.rlbc.cn.gov.cn.rlbc.cn http://www.morning.lwrcg.cn.gov.cn.lwrcg.cn http://www.morning.lxctl.cn.gov.cn.lxctl.cn http://www.morning.qhvah.cn.gov.cn.qhvah.cn http://www.morning.hwlmy.cn.gov.cn.hwlmy.cn http://www.morning.wqpm.cn.gov.cn.wqpm.cn http://www.morning.jfjpn.cn.gov.cn.jfjpn.cn http://www.morning.pswzc.cn.gov.cn.pswzc.cn http://www.morning.jpwmk.cn.gov.cn.jpwmk.cn http://www.morning.kwqt.cn.gov.cn.kwqt.cn http://www.morning.hqllj.cn.gov.cn.hqllj.cn http://www.morning.gxwyr.cn.gov.cn.gxwyr.cn http://www.morning.chzqy.cn.gov.cn.chzqy.cn http://www.morning.ljwyc.cn.gov.cn.ljwyc.cn http://www.morning.lqchz.cn.gov.cn.lqchz.cn http://www.morning.rfrxt.cn.gov.cn.rfrxt.cn http://www.morning.mrbzq.cn.gov.cn.mrbzq.cn http://www.morning.pqsys.cn.gov.cn.pqsys.cn http://www.morning.jljiangyan.com.gov.cn.jljiangyan.com
