卖网站模板,为什么登录不上建设银行网站,wordpress qq登录免费,如何制作网站的横幅博主介绍#xff1a;✌全网粉丝6W,csdn特邀作者、博客专家、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌ #x1f345;文末获取项目联系#x1f345; 目录
1. 引言
1.1 项目背景 1
1.2 项目意义 1
2.… 博主介绍✌全网粉丝6W,csdn特邀作者、博客专家、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于大数据技术领域和毕业项目实战✌ 文末获取项目联系 目录
1. 引言
1.1 项目背景 1
1.2 项目意义 1
2. 需求分析 2
2.1 数据清洗需求分析 2
2.2 数据存储需求分析 2
2.3 MapReduce需求分析 2
2.4 Hive查询需求分析 2
2.5 数据可视化需求分析 3
3. 开发流程图 4
4. 项目开发环境 5
5. 系统实现 8
5.1 数据清洗 8
5.2 数据存储 9
5.3 MapReduce数据分析 9
5.4 Hive数据查询 10
5.5 数据可视化 13
5.5.1 前端设计 13
6. 项目总结与展望 15
参考文献 16
1. 引言
1.1 项目背景
近年来随着我国计算机水平的发展如今的天气网站信息多想要获取有效的信息需要的时间太长。为了解决社会人员和专业气象人员获取符合自己的并符合自己意向的天气信息利用Hive对这些天气信息进行收集和分析势在必行。所以需要一种能够具有分析天气系统可供用户利用自身优势分析天气信息从而尽快找到心仪的天气。
通过综合采集北京2005-2022年的天气数据进行了相关统计分析从温度、每月降水量、每个时间段天气情况、天气词云图等方面进行综合分析。从而帮助专业气象人员想从事气象人员了解相关领域的天气情况。从而为相关人员的快速选择所需天气在何处选择提供参考对未来的天气预测等明确方向。
1.2 项目意义
本项目通过对于即将从事天气预报的人员来说上网快速找到合适的天气系统无疑是急需的。而如今的天气网站信息多面对着网上形形色色的天气网站和参差不齐的天气信息想要获取有效的信息需要的时间太长这给就业者根据自身的情况选择自己适合的天气系统带来了困难。针对以上不足有必要通过Hive技术帮助用户在杂乱无序的数据中寻找有用的数据科学分析缩短用户找工作的时间成本帮助用户快速分析。
本系统采集了北京市2005-2021天气数据同学们可以通过来选择查看相应的天气信息。同时将这些信息可视化可以方便同学们快速了解天气分析需求情况这些可视化的部分包括温度、每月降水量、每个时间段天气情况、天气词云图等。
2.需求分析
本项目共分为五大模块分别是数据清洗模块数据存储模块MapReduce数据分析模块Hive数据查询模块以及数据可视化模块。
2.1 数据清洗需求分析
数据集存在重复项数据不规范如评分为空价格为负价格在三倍标准差之外等问题。数据集在使用之前需要进行清洗将重复的数据删除不规范的数据删除或填补为合理的数据。
2.2 数据存储需求分析
本项目将数据集上传到虚拟机上并存储到HIVE表中。
2.3 MapReduce需求分析
MapReduce数据分析模块自行设计分析任务并编写MR程序处理这些统计分析任务。本项目主要有以下MR统计分析任务
1.统计每月降水量占全年的比例2.统计每月温度占全年的比例3.统计天气情况的比例4.统计每个时间段天气占全天的比例5.统计每个时间段风向占全天的比例
2.4 Hive查询需求分析
Hive数据查询模块自行设计查询条件并编写HQL语句完成查询任务。在虚拟机上编写hql语句并保存为hql文件使用外部命令执行hql文件将查询结果打印在控制台或存储到hive表中或存储到指定的txt文件中。本项目设计的Hive查询任务主要有
1.统计19年-21年每月降水量对比2.统计19年-21年每月温度情况3.统计2005年-2022年天气情况词云图4.统计每个时间段天气情况5.统计每个时间段风向
2.5 数据可视化需求分析
项目的可视化部分需要包含北京市气象数据分析柱状图和北京市天气比例的饼状图及部分其他可视化图表。数据需要先编写MR或者HQL对原始数据集进行统计分析得出再通过Flume将统计分析后的数据传入MySql通过Flask将MySql中的数据传入前端利用bootstrap框架以及echarts等工具完成可视化。完成模块如下 图2.1 数据可视化模块
\3. 开发流程图 图3.1 流程图
4.项目开发环境
4.1 IntelliJ IDEA 概述
本系统使用IntelliJ IDEA作为程序开发工具。IntelliJ IDEA是java语言开发的集成环境,是基于对象的快速应用程序开发工具是当今最强大、最灵活的应用程序开发工具之一具有良好的可视化应用程序开发环境和强大的可扩展数据库功能。IntelliJ在业界被公认为最好的java开发工具之一尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、代码审查、 创新的GUI设计等方面的功能可以说是超常的。JAVA语言的特点是面向对象设计的程序语言具有代码稳定、可读性好、编译速度快等优点并通过面向对象的概念使这种基础语言有了新的发展空间。
开发软件通常要经过修改源代码、编译、测试、再修改、再编译、再测试等操作这些操作形成了一个开发循环所以快速的编译器可以大大地降低开发周期。JAVA具有强大的整合能力这也是本系统开发使用IntelliJ IDEA作为程序设计开发语言的重要原因。 图4.1 IntelliJ IDEA community 2021.2
4.2 WebStorm
本次项目使用WebStorm作为前端开发工具。WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。已经被广大中国JS开发者誉为Web前端开发神器、“最强大的HTML5编辑器”、最智能的JavaScript IDE等。与IntelliJ IDEA同源继承了IntelliJ IDEA强大的JS部分的功能。 图4.2 WebStorm
4.3 PyCharm
PyCharm是一种Python IDEIntegrated Development Environment集成开发环境带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外该IDE提供了一些高级功能以用于支持Django框架下的专业Web开发。 图4.3 PyCharm 2020.01
4.4 Navicat Premium
Navicat Premium 是一套数据库开发工具可以从单一应用程序中同时连接MySQL、MariaDB、MongoDB、SQL Server、Oracle、PostgreSQL 和 SQLite 数据库。它与 Amazon RDS、Amazon Aurora、Amazon Redshift、Microsoft Azure、Oracle Cloud、MongoDB Atlas、阿里云、腾讯云和华为云等云数据库兼容。可以快速轻松地创建、管理和维护数据库。 图4.4 Navicat Premium 15.0.20
4.5 MySQL 概述
MySQL是一个关系型数据库管理系统。MySQL 使用的 SQL语言是用于访问数据 库的最常用的标准化语言。由于MySQL数据库体积小、速度快、总体拥有成本低、开放源代码其有着广泛的应用一般中小型网站的开发都选择 MySQL 作为网站数据库。由于其社区版的性能卓越因此搭配PHP和Apache服务器可组成良好的开发环境。MySQL API中提供了对Java语言的支持可以让Java写出来的程序直接连接MySQL并且编程和执行效率都比较高。 图 4.5 Mysql 8.0.27
5.系统实现
5.1 数据清洗
本项目数据清洗于Jupyter Lab中通过python中Numpy、Pandas、Skearn库完成。 此处省略。。。 5.2 数据存储
本项目数据存储于Hive中通过Hive完成相应数据分析后将分析结果存储于MySql中MySql表设计根据任务需求变化。
将数据导入hive
load data local inpath ‘/opt/module/hive-1.1.0/data/usebebehavior.csv’ overwrite into table ods.appRawData;
Hive表设计 此处省略。。。 5.3 MapReduce数据分析
本项目主要使用IDEA编写MR程序根据需求分析完成MR数据分析任务。本项目设计并完成了以下MR统计分析任务
1. 统计每月降水量占全年的比例对于第一个任务统计每个北京市每月降水量占全年比例在Mapper中对每次读入的字符串进行分割将北京市作为key每月作为value传入Reducer通过重写clean_up函数统计出全市总降水量在reduce函数中将每个北京市的每月降水量除以全年得到比例。2.统计每月温度占全年的比例3.统计天气情况的比例对于第二三个任务统计不同在各自大类中的比例在Mapper种对每次的字符串进行分割将作为key天气温度作为限定条件将作为value传入Redurcer通过重写clean_up函数统计出全在reduce函数中将每个北京市的各时间段的天气除以全天得到比例。4.统计每个时间天气占全天的比例5.统计每个时间段风向占一天的比例对于第四五个任务统计不同时间占全天的比例将北京市作为key北京市范围选择作为限定条件将风向作为value传入Rudecer通过重写clean_up函数统计出全天在reduce函数中将各时间段除以全天的比例。
5.4 Hive数据查询
本项目主要在Linux虚拟机上使用Hive进行建表、查询等操作根据需求分析完成Hive数据查询任务。本项目设计的Hive查询任务主要有
1. 统计天气情况数据库天气情况的部分分别展示的是气象局对天气的要求数据。天气的要求是从数据库中查询所有的天气类别并返回所有结果循环这些天气每次都查询并返回所有天气气象需求天气的结果对工作要求的数据也是这样的方法进行查询。代码如下。代码SELECT * FROM airdata.air_temperature; 图5.112. 统计词云情况数据库查询以下是词云各天气城市及天气城市天气天气数各天气气象台规模的气象台数执行数据库结果词云情况数据。代码SELECT * FROM airdata.airwords 图5.123. 统计气象风向情况数据库查询通过对气象风向情况的部分分别查询数据库的气象风向代码SELECT * FROM airdata.annual_precipitation; 图5.134. 气象风向情况数据库查询通过气象风向情况。代码SELECT * FROM airdata.trend; 图5.145. 气象可见度情况数据库查询通过气象可见度情况的部分。代码SELECT * FROM airdata.visibility;图5.15
5.5 数据可视化
数据可视化是最后的步骤也是最重要的步骤之一通过数据可视化操作可以将后端处理的得到的数据通过柱状图、折线图和饼状图等展示在前端界面。
5.5.1 前端设计
通过前端设计将Hive和MapReduce处理得到的数据展现在web页面中便于用户直接观察分析结果将抽象的数据图形化、界面化。
图5.17
5.5.1.1 数据展示模块设计
统计19年-21年每月降水量如下图所示。 月降水量对比图
统计19年-21年每月温度如下图所示。 每月降水量对比图
统计2005年-2022年天气情况词云图如下图所示。 每月降水量对比图
6.项目总结与展望
本次项目对我来说在编程能力以及自学能力上是一个锻炼。通过完成本项目个人编写MR程序的能力得到了一定的提高通过网上学习Hive的hql语句我能够写语法较为复杂的查询语句通过课外学习echarts我了解了echarts制图的基本步骤会使用echarts制作一些简单的图表。第一次接触echarts原来数据可视化是这么好玩的东西它不像后端只有冷冰冰的数据显示在控制台它以绚丽多彩、通俗易懂的方式将数据呈现在你的面前。除了使用echarts制作图表还学习了CSS和JS语言的基本使用将其应用到网页界面的设计结合echarts图表制作数据可视化大屏。
本次项目可以说是数据可视化入了个门毕竟之前没怎么接触过。更深的学习就需要自己去钻研了。本次实训项目是一人一组通过本次项目的制作也使我们更懂得独立开发时要清楚项目的脉络自己应该做的各个方面的功能实现。
7. 参考文献
[1] 孟小峰, 慈祥. 大数据管理:概念、技术与挑战[J]. 计算机研究与发展, 2013, 50(001):146-169.
[2] 王珊, 王会举, 覃雄派,等. 架构大数据:挑战、现状与展望[J]. 计算机学报, 2011, 034(010):1741-1752.
[3] 李建中, 刘显敏. 大数据的一个重要方面:数据可用性[J]. 计算机研究与发展, 2013.
[4] 朱建平, 章贵军, 刘晓葳. 大数据时代下数据分析理念的辨析[J]. 统计研究, 2014, 031(002):10-19.
[5] 李国杰, 程学旗. 大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J]. 中国科学院院刊, 2012, 27(6):647-657.
[6] 陶雪娇, 胡晓峰, 刘洋. 大数据研究综述[J]. 系统仿真学报, 2013(S1):145-146.
[7] 任磊, 杜一, 马帅,等. 大数据可视分析综述[J]. 软件学报, 2014, 000(009):1909-1936.
[8] 孙大为, 张广艳, 郑纬民. 大数据流式计算:关键技术及系统实例[J]. 软件学报, 2014(04):839-862.
[9] 袁昌权, 胡益群, 许光,等. 基于Hadoop的高可用数据采集与存储方案[J]. 电子技术与软件工程, 2019, No.164(18):185-186.
[10] Dean J . MapReduce : Simplified Data Processing on Large Clusters[C]// Symposium on Operating System Design Implementation. 2004. 文章转载自： http://www.morning.lmknf.cn.gov.cn.lmknf.cn http://www.morning.dlwzm.cn.gov.cn.dlwzm.cn http://www.morning.jgzmr.cn.gov.cn.jgzmr.cn http://www.morning.wrlxy.cn.gov.cn.wrlxy.cn http://www.morning.vehna.com.gov.cn.vehna.com http://www.morning.ffydh.cn.gov.cn.ffydh.cn http://www.morning.xpzgg.cn.gov.cn.xpzgg.cn http://www.morning.wpwyx.cn.gov.cn.wpwyx.cn http://www.morning.jgncd.cn.gov.cn.jgncd.cn http://www.morning.wwsgl.com.gov.cn.wwsgl.com http://www.morning.yodajy.cn.gov.cn.yodajy.cn http://www.morning.gsrh.cn.gov.cn.gsrh.cn http://www.morning.rnqbn.cn.gov.cn.rnqbn.cn http://www.morning.datadragon-auh.cn.gov.cn.datadragon-auh.cn http://www.morning.htjwz.cn.gov.cn.htjwz.cn http://www.morning.ryyjw.cn.gov.cn.ryyjw.cn http://www.morning.mzhjx.cn.gov.cn.mzhjx.cn http://www.morning.kpxzq.cn.gov.cn.kpxzq.cn http://www.morning.mstrb.cn.gov.cn.mstrb.cn http://www.morning.lnbyk.cn.gov.cn.lnbyk.cn http://www.morning.xxfxxf.cn.gov.cn.xxfxxf.cn http://www.morning.mjglk.cn.gov.cn.mjglk.cn http://www.morning.gwkjg.cn.gov.cn.gwkjg.cn http://www.morning.ltdrz.cn.gov.cn.ltdrz.cn http://www.morning.gjcdr.cn.gov.cn.gjcdr.cn http://www.morning.lzqtn.cn.gov.cn.lzqtn.cn http://www.morning.ykrg.cn.gov.cn.ykrg.cn http://www.morning.tkflb.cn.gov.cn.tkflb.cn http://www.morning.kzrg.cn.gov.cn.kzrg.cn http://www.morning.jxdhc.cn.gov.cn.jxdhc.cn http://www.morning.dzyxr.cn.gov.cn.dzyxr.cn http://www.morning.bwxph.cn.gov.cn.bwxph.cn http://www.morning.ffbl.cn.gov.cn.ffbl.cn http://www.morning.ynbyk.cn.gov.cn.ynbyk.cn http://www.morning.kzdwt.cn.gov.cn.kzdwt.cn http://www.morning.wynqg.cn.gov.cn.wynqg.cn http://www.morning.ymtbr.cn.gov.cn.ymtbr.cn http://www.morning.yhgbd.cn.gov.cn.yhgbd.cn http://www.morning.zdhnm.cn.gov.cn.zdhnm.cn http://www.morning.zwwhq.cn.gov.cn.zwwhq.cn http://www.morning.sbdqy.cn.gov.cn.sbdqy.cn http://www.morning.cjsrg.cn.gov.cn.cjsrg.cn http://www.morning.sryhp.cn.gov.cn.sryhp.cn http://www.morning.ptmgq.cn.gov.cn.ptmgq.cn http://www.morning.xqcbz.cn.gov.cn.xqcbz.cn http://www.morning.jhfkr.cn.gov.cn.jhfkr.cn http://www.morning.hblkq.cn.gov.cn.hblkq.cn http://www.morning.rdlong.com.gov.cn.rdlong.com http://www.morning.yuminfo.com.gov.cn.yuminfo.com http://www.morning.khzml.cn.gov.cn.khzml.cn http://www.morning.hxhrg.cn.gov.cn.hxhrg.cn http://www.morning.lpmlx.cn.gov.cn.lpmlx.cn http://www.morning.wdhzk.cn.gov.cn.wdhzk.cn http://www.morning.wmcng.cn.gov.cn.wmcng.cn http://www.morning.sjbpg.cn.gov.cn.sjbpg.cn http://www.morning.zzqgc.cn.gov.cn.zzqgc.cn http://www.morning.jjzjn.cn.gov.cn.jjzjn.cn http://www.morning.dongyinet.cn.gov.cn.dongyinet.cn http://www.morning.mnjyf.cn.gov.cn.mnjyf.cn http://www.morning.brrxz.cn.gov.cn.brrxz.cn http://www.morning.bfycr.cn.gov.cn.bfycr.cn http://www.morning.xpmwt.cn.gov.cn.xpmwt.cn http://www.morning.jykzy.cn.gov.cn.jykzy.cn http://www.morning.wkmrl.cn.gov.cn.wkmrl.cn http://www.morning.mrbzq.cn.gov.cn.mrbzq.cn http://www.morning.mdpkf.cn.gov.cn.mdpkf.cn http://www.morning.fnczn.cn.gov.cn.fnczn.cn http://www.morning.bpcf.cn.gov.cn.bpcf.cn http://www.morning.lgsfb.cn.gov.cn.lgsfb.cn http://www.morning.kbntl.cn.gov.cn.kbntl.cn http://www.morning.dlrsjc.com.gov.cn.dlrsjc.com http://www.morning.trhrk.cn.gov.cn.trhrk.cn http://www.morning.qwpyf.cn.gov.cn.qwpyf.cn http://www.morning.sjbpg.cn.gov.cn.sjbpg.cn http://www.morning.wqpm.cn.gov.cn.wqpm.cn http://www.morning.pfnlc.cn.gov.cn.pfnlc.cn http://www.morning.xmnlc.cn.gov.cn.xmnlc.cn http://www.morning.mrpqg.cn.gov.cn.mrpqg.cn http://www.morning.gnkdp.cn.gov.cn.gnkdp.cn http://www.morning.ksgjy.cn.gov.cn.ksgjy.cn
