做的好的阅读类的网站有哪些,长沙哪里做网站,dede做导航网站,oa系统哪个比较好目录
一、大数据应用价值
1.1 大数据技术分析
1.2 原有技术场景的优化
1.2.1 数据分析优化
1.2.2 高并发数据处理
1.3 通过大数据构建新需求
1.3.1 智能推荐
1.3.2 广告系统
1.3.3 产品/流程优化
1.3.4 异常检测
1.3.5 智能管理
1.3.6 人工智能和机器学习
二、大数…目录
一、大数据应用价值
1.1 大数据技术分析
1.2 原有技术场景的优化
1.2.1 数据分析优化
1.2.2 高并发数据处理
1.3 通过大数据构建新需求
1.3.1 智能推荐
1.3.2 广告系统
1.3.3 产品/流程优化
1.3.4 异常检测
1.3.5 智能管理
1.3.6 人工智能和机器学习
二、大数据应用价值分析
2.1 数据分析的价值
2.2 大数据技术性能的价值
2.3 构建新需求的价值
三、什么情况下不需要大数据岗位
四、结语 前言这几年互联网寒冬时常听到大数据工作者担忧大数据是开发支持岗位担心公司业务收缩先裁大数据岗位这从侧面说明大数据应用在公司没有体现出该有的价值大数据应用有哪些价值为什么没有实现大数据的价值本文从这两个视角分析。
一、大数据应用价值 最近几年到处都能听到大数据这个词比如大数据推荐大数据分析大数据挖掘等仿佛用大数据这个词就能解释很多没有关联的事但是大数据到底有哪些应用价值却没有清晰认识。 一些企业和部门怀着对大数据的期盼引入了大数据技术开发解决应用场景发现带来的价值不如预期大数据的核心特性是对大数据量的处理能力。什么场景需要处理能力能干什么 对于很多单位或者企业会有这样的疑惑。笔身深耕在大数据应用一线从使用者的角度去总结和分析大数据带来的价值如果无法分析到尽善尽美希望大家谅解和补充。
上一章基于企业和大数据应用做了详细分析。大数据企业应用场景分析-CSDN博客
1.1 大数据技术分析 大数据技术就像个新的土地如何基于新土地优化原有或者构建新东西大体方向从这两个维度去思考。对于原有技术场景的优化数据分析、高并发数据处理属于这类智能推荐、产品/流程优化、异常检测、智能管理、人工智能和机器学习属于第二类通过大数据技术构建新东西。
1.2 原有技术场景的优化
1.2.1 数据分析优化 在大数据技术出现以前数据分析通常在OLTP数据库之上写SQL用数据库自带引擎做数据分析数据存储瓶颈分表分库解决计算性能也得不到保障大数据技术出现以后对于业务的分析可以统一通过数仓产出且可以跨业务关联分析除此之外由于大数据本身的处理能力以前无法做到的比如通过日志或者更细节的埋点分析都可以通过大数据技术做到业务支持。
对于数据分析的应用优化这里总结出3个点
代替OLTP数据库做业务指标计算解决数据孤岛跨业务关联分析计算指标对业务系统运行构建更细粒度的用户行为分析
1.2.2 高并发数据处理 在大数据技术出现以前对于提高业务性能的需求基本是通过多线程高并发的方式实现大数据技术将许多高并发的业务场景简化成几个配置选项对于一些数据采集、数据处理、数据分析多数数据驱动的场景使用大数据技术能极大的提升业务的性能。
对于数据处理的应用需求用牺牲部分灵活性的代价极大的提升了数据处理的性能。
1.3 通过大数据构建新需求 在大数据技术出现以前受限于技术性能许多需求是不合理得益于大数据技术的出现可以在高性能的基础上构建一些有价值的新需求比如产品智能推荐、广告系统、产品/流程优化、异常检测、智能管理、人工智能和机器学习等。
1.3.1 智能推荐 对于面向市场的产品内容媒体定制化推荐能实现更好的用户体验比如新闻媒体、视屏号等这些需求要在极快的时间做到人群划分和媒体内容划分使用大数据技术实现快速的搜索和准确的推荐功能交互性能往往在秒级这样的产品能在应用市场占据很大的份额。
1.3.2 广告系统 在巨大的市场用户面前广告需要满足推荐的精准分析和高效推荐这需要对产品用户数据的智能管理和分析提出很高的技术要求和智能推荐的技术架构场景类似需求场景不同。
1.3.3 产品/流程优化 这里优化有两个过程第一个是发现需要优化的部分第二个是使用大数据技术优化局部性能比如对于高QPS、快速搜索、快速计算的数据库使用大数据技术可以提高业务性能最简单的场景将Mysql的详情数据写入ES使用ES的API提供数据支撑数据量越大性能对比效果越好。
1.3.4 异常检测 得益于大数据技术的数据处理能力实时性和TPS对于业务、物联网设备、中间件、产品安全等多种场景可以使用大数据技术作为核心架构构建起高效的异常检测系统为多种场景的安全和运维护航这对于业务和系统的安全与稳定有很好的作用。
1.3.5 智能管理 笔者所在的公司面向市场有上百万的PC电脑对电脑资产的监控和管理一直是个痛点问题在APP上埋点SDK工具使用大数据技术作为采集和分析驱动定时采集PC状态将资产信息实时同步到业务系统很快和稳定的构建起资产管理。
1.3.6 人工智能和机器学习 对于多数公司这个应用都是没有落地场景的但是还是要提一下大数据和算法的交互数据特征工程大数据数据采集、存储和治理是人工智能和机器学习的基石这个价值按照业界的话来说价值巨大但落地周期长在一些基础算法分类、预测、决策的场景经常配合大数据能力一同使用。
二、大数据应用价值分析
对于不同的应用需求价值的评估角度是不一样的。 2.1 数据分析的价值 对于数据分析第一指标的价值能体现出来的决策支持有效性就是其价值这需要深入理解业务并提取出第一性重要性指标从这个角度数据开发只是提供大数据的能力支撑核心是数据分析对业务的理解和指标重要性的评估。 有些人觉得大数据是业务支持岗位缺少业务价值没有岗位安全感这可能需要从指标的价值上去呈现大数据应该比业务更理解业务从中提取出有价值的信息而不是单独的计算PV、UV这种状态指标分析指标的变化关系和原因这是更深一层的价值。
2.2 大数据技术性能的价值 对于传统后端中间件的性能已经无法服务大业务场景的需求引入大数据组件可以如同之前操作OLTP数据库一样一样写简单的DSL语句完成业务需求这依赖了大数据产品的高性能这一层价值是产品赋予的是大数据工作者的大数据解决方案。
2.3 构建新需求的价值 大数据除了数据分析还能基于大数据技术栈的特新构建新需求这些需求的价值有增加用户体验的智能推荐或者广告系统或可以减轻运维压力或智能异常检查或安全工程师的风险管理资产运维等。从大数据技术的视角这些只能通过大数据技术性能实现的需求才是大数据工作岗的护城河。
比如智能推荐需要实现对大量用户的精细化管理对人群和内容标签分类对标签人群的快速搜索对标签内容的快速推荐这需要极高的接口QPS和搜索推荐性能这些都是大数据技术擅长的
比如智能运维需要实时捕捉大量业务系统、中间件、主机、终端、移动端、供应商等运行的实时日志实时监控各种系统的稳定性并对各个模块做到智能检测管理这是用到了大数据实时吞吐和快速计算检测的能力特性。
比如风险检测对系统或者终端网络等的安全管理需要实时监测捕捉大量运行数据且面对实时变换的风险特征持续更新和增加这些也依赖大数据技术的高吞吐性能和实时计算能力。
智能管理这些功能类似
人工智能和机器学习这些需要依靠大数据的处理能力替算法构建特征模型使用算法的能力做分析、决策和预测等应用。
三、什么情况下不需要大数据岗位 时常在想为什么大数据岗位有安全感担忧。可能和领导对大数据的期盼有关
在引入大数据岗位的时候往往希望大数据能带来有价值的决策支撑然后落地之后才发现常规的PV/UV计算只能计算指标状态BI等对决策支撑力度不够这需要数据分析师赋能
并且大数据数据库可以直接给后端使用对应的数据库提供了API接口可以跳过大数据开发后端开发者可以直接使用大数据岗位在中间只做了集成需求这种岗位需求也不高
除此之外数据中台、应用中台的开发偏向于后端开发对大数据技术的需求并没有那么大
这些场景小数据量的维度计算、对大数据产品的应用、数据中台产品的开发这些都是对大数据技术的要求没有那么强的要求。
四、结语 大数据是新的技术生态技术就是工具工具就是用来解决问题对于已有的应用场景大数据技术提供新的解决方案对于大数据技术优秀的性能可以构建新的业务需求上文提到的应用和应用价值只是思考方向对于更多的可能性需要从真实应用需求中挖掘。
