网站建设要咨询哪些,wordpress推特登陆,怎么找淘客推广,找工作的网站大家好#xff0c;今天我们用python分析下周杰伦歌曲。为了尽量完整地呈现从原始数据到可视化的过程#xff0c;接下来我们会先简单讲解数据的预处理过程#xff0c;即如何将 JSON 数据转化为Excel 格式#xff0c;以及如何对周杰伦的歌曲进行分词。
本案例中的歌词数据来…大家好今天我们用python分析下周杰伦歌曲。为了尽量完整地呈现从原始数据到可视化的过程接下来我们会先简单讲解数据的预处理过程即如何将 JSON 数据转化为Excel 格式以及如何对周杰伦的歌曲进行分词。
本案例中的歌词数据来自中文歌词数据库这个数据库提供了华语歌手的歌曲及歌词信息数据以 JSON 格式存储。
数据预处理指的是将原始数据处理成我们希望的格式并提取出我们需要的信息。
在本案例中我们需要先从数据库中筛选出演唱者为周杰伦的歌曲然后获得这些歌曲的歌词并将它们存储到纯文本文档.txt 格式中以下提供两种方法。
第一种方法先把 JSON 文件转换为 Excel 可以打开的 .csv 文件或 .xlsx 文件格式。这可以借助一些在线的转换工具完成如 JSON to CSV Converter。一般而言只需将文件拖入这些工具选择好转换格式类型即可转换完成。接着我们便可以在 Excel 中打开该数据然后单击“数据→筛选”命令选择歌手为“周杰伦”的歌曲。之后选中它们的歌词并将其粘贴到纯文本文档中。
第二种方法通过 Python 进行数据预处理。首先需要引入 JSON 库未安装者通过 pip install json 安装。
import json
然后读取我们下载的 JSON 文件存储在名为 data 的变量中。
with open(‘ lyrics.json’ , ‘ r’ ) as f:
data json.load(f)
接着遍历 data 中的每一项找出“歌手”“周杰伦”的数据项存到data_zjl 中。
data_zjl [item for item in data if item[‘ singer’ ]’ 周杰伦’ ]
print(len(data_zjl))
建立一个空列表 zjl_lyrics用于存储歌词。遍历 data_zjl 中的每一首歌将它们的歌词存到 zjl_lyrics 中。
Zjl_lyrics []
for song in data_zjl:
zjl_lyrics zjl_lyrics song[‘ lyric’ ]
最后将 zjl_lyrics 写入一个新的 .txt 文件。
with open(“ zjl_lyrics.txt” , “ w” ) as outfifile:
outfifile.write(“ \n” .join(zjl_lyrics))
通过这几行代码我们就获得了周杰伦所有歌曲的歌词数据见图1。以这个 .txt 文件为基础我们便可以进行词频统计了。 以下附上一种在 Python 中分词的方法。首先引入 jieba 库安装 pip install jieba、pandas 库安装 pip install pandas、用于频次统计的 Counter 库以及表单工具代码如下
import jieba
import jieba.analyse
import pandas as pd
from collections import Counter
事先准备好一个中文的停用词表.txt 文件里面包含一些常见的、需要过滤的中文标点和虚词可在网上下载代码如下
with open(‘ chinese_stop_words.txt’ ) as f:
stopwords [line.strip() for line in f.readlines()]
打开歌词文件利用 jieba 库进行分词。分词之后删除停用词、去除无用的符号等。用 Counter 库对清洗干净的词语进行频次统计。然后将统计结果用 pandas库转换为数据表单存储为 Excel 文件代码如下
fifile open(“ zjl_lyrics.txt” ).read()
words jieba.lcut(fifile, cut_allFalse, use_paddleTrue)
words [w for w in words if w not in stopwords]
words [w.strip() for w in words]
words [w for w in words if w ! ‘ ’ ]
words_fifilter [w for w in words if len(w) 1]
df pd.DataFrame.from_dict(Counter(words_fifilter), orient’ index’ ).
reset_index()
df df.rename(columns{‘ index’ :’ words’ , 0:’ count’ })
df.to_excel(“ 周杰伦分词结果 .xlsx” )
由此如下表所示我们便获得了分词后的单词及词频。使用这个文档我们就可以开始制作可视化了。 由于是文本类数据我们首先想到的可视化形式可能是文字云。如果你使用 Python则可以直接基于刚才的分析结果调用wordcloud库绘制文字云代码如下
from wordcloud import WordCloud
# 注 这里需要引入一个中文字体否则会乱码
wc WordCloud(font_path ‘ Alibaba-PuHuiTi-Regular.ttf’ ,
background_color” white” ,
max_words 2000)
wc.generate(‘ ‘ .join(words_fifilter))
import matplotlib.pyplot as plt
plt.imshow(wc)
plt.fifigure(fifigsize(12,10), dpi 300)
plt.axis(“ off” )
plt.show()
绘制结果如图所示 不过在代码工具内绘制文字云进行定制化设计相对比较复杂。因此也可以借助一些在线工具帮助我们实现更好的可视化效果。下面我们以微词云为例进行演示。
进入微词云界面后首先单击“导入单词”进行数据导入。选择“从 Excel 中导入关键词”然后上传我们刚才得到的包含单词和词频的 Excel 文档需要注意的是微词云目前对上传的 Excel 文件格式有一定要求比如列名必须叫“单词”和“词频”才能识别详见其页面指引即可生成文字云。 可以看到微词云的页面上还有另外两种导入数据的选项。其中“简单导入”支持用户输入用逗号隔开的单词。“分词筛词后导入”则支持用户粘贴长文本然后由系统自动进行分词和词性判别。换句话说如果你有一个文档文件也可以直接粘贴进微词云进行分词。
接下来我们用周杰伦的歌词文档来尝试一下。选择“分词筛词后导入”然后将之前的 .txt 格式的文档粘贴进微词云。之后单击“开始分词”软件就会自动把词语切割出来并按词性归类结果如下图所示。 可以看到所有的词语被按照动词、名词、形容词、人名等归类。词语后面的括号标注了词频。同时微词云还自动帮我们把高频的词汇勾选出来。我们也可以根据个人需求在这个界面中进一步编辑例如只显示名词、只显示动词等然后单击“确定使用所选单词”按钮即可生成词云。
之后我们可以在“配置”栏中编辑词云的显示方式。其中“计算模式”指的是字体的大小是否严格与词频匹配因此我们选择“严格比例”。另外我们还可以更改文字的颜色以及文字云中单词的数量等。在本案例中我们把单词数量调整到 200。调整完毕后单击右上角的“下载到本地”按钮即可。 当然虽然词云在视觉上比较有趣但在展示数据上却不一定清晰。因此我们也可以使用其他的图表来进行可视化。比如可以用圆面积来展示最高频的词汇。
以上我们讲解了使用 Python 分词和使用在线工具分词的两种方法大家可以根据本案例进行学习。 文章转载自： http://www.morning.kpcxj.cn.gov.cn.kpcxj.cn http://www.morning.sfnjr.cn.gov.cn.sfnjr.cn http://www.morning.yzktr.cn.gov.cn.yzktr.cn http://www.morning.hous-e.com.gov.cn.hous-e.com http://www.morning.dbfp.cn.gov.cn.dbfp.cn http://www.morning.mjtft.cn.gov.cn.mjtft.cn http://www.morning.dgfpp.cn.gov.cn.dgfpp.cn http://www.morning.ktcfl.cn.gov.cn.ktcfl.cn http://www.morning.xkppj.cn.gov.cn.xkppj.cn http://www.morning.tdhxp.cn.gov.cn.tdhxp.cn http://www.morning.jtcq.cn.gov.cn.jtcq.cn http://www.morning.shawls.com.cn.gov.cn.shawls.com.cn http://www.morning.xfhms.cn.gov.cn.xfhms.cn http://www.morning.srbfz.cn.gov.cn.srbfz.cn http://www.morning.bxgpy.cn.gov.cn.bxgpy.cn http://www.morning.ssqwr.cn.gov.cn.ssqwr.cn http://www.morning.tnjff.cn.gov.cn.tnjff.cn http://www.morning.fbzdn.cn.gov.cn.fbzdn.cn http://www.morning.spbp.cn.gov.cn.spbp.cn http://www.morning.rqhbt.cn.gov.cn.rqhbt.cn http://www.morning.jbtzx.cn.gov.cn.jbtzx.cn http://www.morning.sbkb.cn.gov.cn.sbkb.cn http://www.morning.ylqb8.cn.gov.cn.ylqb8.cn http://www.morning.ccjhr.cn.gov.cn.ccjhr.cn http://www.morning.qbnfc.cn.gov.cn.qbnfc.cn http://www.morning.mkccd.cn.gov.cn.mkccd.cn http://www.morning.ktblf.cn.gov.cn.ktblf.cn http://www.morning.jypsm.cn.gov.cn.jypsm.cn http://www.morning.bzlsf.cn.gov.cn.bzlsf.cn http://www.morning.srnth.cn.gov.cn.srnth.cn http://www.morning.xesrd.com.gov.cn.xesrd.com http://www.morning.nzfqw.cn.gov.cn.nzfqw.cn http://www.morning.xrqkm.cn.gov.cn.xrqkm.cn http://www.morning.blqmn.cn.gov.cn.blqmn.cn http://www.morning.mtgnd.cn.gov.cn.mtgnd.cn http://www.morning.lqljj.cn.gov.cn.lqljj.cn http://www.morning.qrwnj.cn.gov.cn.qrwnj.cn http://www.morning.dfndz.cn.gov.cn.dfndz.cn http://www.morning.zlchy.cn.gov.cn.zlchy.cn http://www.morning.nfbkp.cn.gov.cn.nfbkp.cn http://www.morning.wcqxj.cn.gov.cn.wcqxj.cn http://www.morning.bnpn.cn.gov.cn.bnpn.cn http://www.morning.cwgfq.cn.gov.cn.cwgfq.cn http://www.morning.nlzpj.cn.gov.cn.nlzpj.cn http://www.morning.dqbpf.cn.gov.cn.dqbpf.cn http://www.morning.lkrmp.cn.gov.cn.lkrmp.cn http://www.morning.sgjw.cn.gov.cn.sgjw.cn http://www.morning.egmux.cn.gov.cn.egmux.cn http://www.morning.lsfrc.cn.gov.cn.lsfrc.cn http://www.morning.swdnr.cn.gov.cn.swdnr.cn http://www.morning.bkppb.cn.gov.cn.bkppb.cn http://www.morning.jrhcp.cn.gov.cn.jrhcp.cn http://www.morning.tpnch.cn.gov.cn.tpnch.cn http://www.morning.xqgfy.cn.gov.cn.xqgfy.cn http://www.morning.zlqyj.cn.gov.cn.zlqyj.cn http://www.morning.fsnhz.cn.gov.cn.fsnhz.cn http://www.morning.wrdpj.cn.gov.cn.wrdpj.cn http://www.morning.nnwpz.cn.gov.cn.nnwpz.cn http://www.morning.zbpqq.cn.gov.cn.zbpqq.cn http://www.morning.dqwkm.cn.gov.cn.dqwkm.cn http://www.morning.msbmp.cn.gov.cn.msbmp.cn http://www.morning.dpplr.cn.gov.cn.dpplr.cn http://www.morning.rxkl.cn.gov.cn.rxkl.cn http://www.morning.wrwcf.cn.gov.cn.wrwcf.cn http://www.morning.nzfjm.cn.gov.cn.nzfjm.cn http://www.morning.nwpnj.cn.gov.cn.nwpnj.cn http://www.morning.hyxwh.cn.gov.cn.hyxwh.cn http://www.morning.bfbl.cn.gov.cn.bfbl.cn http://www.morning.rjjjk.cn.gov.cn.rjjjk.cn http://www.morning.dtfgr.cn.gov.cn.dtfgr.cn http://www.morning.wkgyz.cn.gov.cn.wkgyz.cn http://www.morning.plxhq.cn.gov.cn.plxhq.cn http://www.morning.hdlhh.cn.gov.cn.hdlhh.cn http://www.morning.dcmnl.cn.gov.cn.dcmnl.cn http://www.morning.yzygj.cn.gov.cn.yzygj.cn http://www.morning.tndhm.cn.gov.cn.tndhm.cn http://www.morning.zqcsj.cn.gov.cn.zqcsj.cn http://www.morning.syynx.cn.gov.cn.syynx.cn http://www.morning.kbkcl.cn.gov.cn.kbkcl.cn http://www.morning.ahscrl.com.gov.cn.ahscrl.com
