为什么要给企业建设网站?,淄博有做互联网广告的公司,wordpress 注册设置,园区网络建设方案第3章 用户行为日志
3.1 用户行为日志概述
用户行为日志的内容#xff0c;主要包括用户的各项行为信息以及行为所处的环境信息。收集这些信息的主要目的是优化产品和为各项分析统计指标提供数据支撑。收集这些信息的手段通常为埋点。
目前主流的埋点方式#xff0c;有代码…第3章 用户行为日志
3.1 用户行为日志概述
用户行为日志的内容主要包括用户的各项行为信息以及行为所处的环境信息。收集这些信息的主要目的是优化产品和为各项分析统计指标提供数据支撑。收集这些信息的手段通常为埋点。
目前主流的埋点方式有代码埋点前端/后端、可视化埋点、全埋点等。
代码埋点是通过调用埋点SDK函数在需要埋点的业务逻辑功能位置调用接口上报埋点数据。例如我们对页面中的某个按钮埋点后当这个按钮被点击时可以在这个按钮对应的 OnClick 函数里面调用SDK提供的数据发送接口来发送数据。
可视化埋点只需要研发人员集成采集 SDK不需要写埋点代码业务人员就可以通过访问分析平台的“圈选”功能来“圈”出需要对用户行为进行捕捉的控件并对该事件进行命名。圈选完毕后这些配置会同步到各个用户的终端上由采集 SDK 按照圈选的配置自动进行用户行为数据的采集和发送。
全埋点是通过在产品中嵌入SDK前端自动采集页面上的全部用户行为事件上报埋点数据相当于做了一个统一的埋点。然后再通过界面配置哪些数据需要在系统里面进行分析。
3.2 用户行为日志内容
本项目收集和分析的用户行为信息主要有页面浏览记录、动作记录、曝光记录、启动记录和错误记录。
3.2.1 页面浏览记录
页面浏览记录记录的是访客对页面的浏览行为该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息及页面信息等。
我们要收集和分析的数据主要包括页面数据、事件数据、曝光数据、启动数据和错误数据。 3.2.2 动作记录
动作记录记录的是用户的业务操作行为该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息及动作目标对象信息等。 3.2.3 曝光记录
曝光记录记录的是曝光行为该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息及曝光对象信息等。 3.2.4 启动记录
启动记录记录的是用户启动应用的行为该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息、启动类型及开屏广告信息等。 3.2.5 错误记录
启动记录记录的是用户在使用应用过程中的报错行为该行为的环境信息主要有用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息、以及可能与报错相关的页面信息、动作信息、曝光信息和动作信息。
3.3 用户行为日志格式
我们的日志结构大致可分为两类一是页面日志二是启动日志。
3.3.1 页面日志
页面日志以页面浏览为单位即一个页面浏览记录生成一条页面埋点日志。一条完整的页面日志包含一个页面浏览记录若干个用户在该页面所做的动作记录若干个该页面的曝光记录以及一个在该页面发生的报错记录。除上述行为信息页面日志还包含了这些行为所处的各种环境信息包括用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息等。
{common: { -- 环境信息ar: 230000, -- 地区编码ba: iPhone, -- 手机品牌ch: Appstore, -- 渠道is_new: 1, -- 是否首日使用首次使用的当日该字段值为1过了24:00该字段置为0。md: iPhone 8, -- 手机型号mid: YXfhjAYH6As2z9Iq, -- 设备idos: iOS 13.2.9, -- 操作系统uid: 485, -- 会员idvc: v2.1.134 -- app版本号},actions: [{ -- 动作(事件)action_id: favor_add, -- 动作iditem: 3, -- 目标iditem_type: sku_id, -- 目标类型ts: 1585744376605 -- 动作时间戳}],displays: [{ -- 曝光displayType: query, -- 曝光类型item: 3, -- 曝光对象iditem_type: sku_id, -- 曝光对象类型order: 1, -- 出现顺序pos_id: 2 -- 曝光位置},{displayType: promotion,item: 6,item_type: sku_id,order: 2,pos_id: 1},{displayType: promotion,item: 9,item_type: sku_id,order: 3,pos_id: 3},{displayType: recommend,item: 6,item_type: sku_id,order: 4,pos_id: 2},{displayType: query ,item: 6,item_type: sku_id,order: 5,pos_id: 1}],page: { -- 页面信息during_time: 7648, -- 持续时间毫秒item: 3, -- 目标iditem_type: sku_id, -- 目标类型last_page_id: login, -- 上页类型page_id: good_detail, -- 页面IDsourceType: promotion -- 来源类型}, err: { --错误error_code: 1234, --错误码msg: *********** --错误信息}, ts: 1585744374423 --跳入时间戳
}3.3.2 启动日志
启动日志以启动为单位及一次启动行为生成一条启动日志。一条完整的启动日志包括一个启动记录一个本次启动时的报错记录以及启动时所处的环境信息包括用户信息、时间信息、地理位置信息、设备信息、应用信息、渠道信息等。
{common: {ar: 370000,ba: Honor,ch: wandoujia,is_new: 1,md: Honor 20s,mid: eQF5boERMJFOujcp,os: Android 11.0,uid: 76,vc: v2.1.134},start: { entry: icon, --icon手机图标 notice 通知 install 安装后启动loading_time: 18803, --启动加载时间open_ad_id: 7, --广告页IDopen_ad_ms: 3449, -- 广告总共播放时间open_ad_skip_ms: 1989 -- 用户跳过广告时点},
err:{ --错误
error_code: 1234, --错误码msg: *********** --错误信息
},ts: 1585744304000
}3.4 服务器和JDK准备
3.4.1 服务器准备
安装如下文档配置步骤分别安装hadoop102、hadoop103、hadoop104三台主机。
参考
3.4.2 阿里云服务器准备可选
参考
3.4.3 编写集群分发脚本xsync
1xsync集群分发脚本
1需求循环复制文件到所有节点的相同目录下
2需求分析
①rsync命令原始拷贝
rsync -av /opt/module atguiguhadoop103:/opt/②期望脚本xsync要同步的文件名称
③说明在/home/atguigu/bin这个目录下存放的脚本atguigu用户可以在系统任何地方直接执行。
3脚本实现
①在用的家目录/home/atguigu下创建bin文件夹
[atguiguhadoop102~]$ mkdir bin②在/home/atguigu/bin目录下创建xsync文件以便全局调用
[atguiguhadoop102~]$ cd /home/atguigu/bin
[atguiguhadoop102~]$ vim xsync在该文件中编写如下代码
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
doecho $host #3. 遍历所有目录挨个发送for file in $do#4 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname$(basename $file)ssh $host mkdir -p $pdirrsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done③修改脚本xsync具有执行权限
[atguiguhadoop102 bin]$ chmod x xsync④测试脚本
[atguiguhadoop102 bin]$ xsync xsync3.3.4 SSH无密登录配置
说明这里面只配置了hadoop102、hadoop103到其他主机的无密登录因为hadoop102未外配置的是NameNodehadoop103配置的是ResourceManager都要求对其他节点无密访问。 1hadoop102上生成公钥和私钥
[atguiguhadoop102 .ssh]$ ssh-keygen -t rsa然后敲三个回车就会生成两个文件id_rsa私钥、id_rsa.pub公钥 2将hadoop102公钥拷贝到要免密登录的目标机器上
[atguiguhadoop102 .ssh]$ ssh-copy-id hadoop102
[atguiguhadoop102 .ssh]$ ssh-copy-id hadoop103
[atguiguhadoop102 .ssh]$ ssh-copy-id hadoop1043hadoop103上生成公钥和私钥
[atguiguhadoop103 .ssh]$ ssh-keygen -t rsa然后敲三个回车就会生成两个文件id_rsa私钥、id_rsa.pub公钥 4将hadoop103公钥拷贝到要免密登录的目标机器上
[atguiguhadoop103 .ssh]$ ssh-copy-id hadoop102
[atguiguhadoop103 .ssh]$ ssh-copy-id hadoop103
[atguiguhadoop103 .ssh]$ ssh-copy-id hadoop1043.3.5 JDK准备
1卸载现有JDK3台节点
[atguiguhadoop102 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps
[atguiguhadoop103 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps
[atguiguhadoop104 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps1rpm -qa表示查询所有已经安装的软件包
2grep -i表示过滤时不区分大小写
3xargs -n1表示一次获取上次执行结果的一个值
4rpm -e --nodeps表示卸载软件
2用XShell工具将JDK导入到hadoop102的/opt/software文件夹下面
3在Linux系统下的opt目录中查看软件包是否导入成功
[atguiguhadoop102 software]# ls /opt/software/看到如下结果jdk-8u212-linux-x64.tar.gz4解压JDK到/opt/module目录下
[atguiguhadoop102 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/5配置JDK环境变量
1新建/etc/profile.d/my_env.sh文件
[atguiguhadoop102 module]# sudo vim /etc/profile.d/my_env.sh添加如下内容然后保存:wq退出
#JAVA_HOME
export JAVA_HOME/opt/module/jdk1.8.0_212
export PATH$PATH:$JAVA_HOME/bin2让环境变量生效
[atguiguhadoop102 software]$ source /etc/profile.d/my_env.sh6测试JDK是否安装成功
[atguiguhadoop102 module]# java -version如果能看到以下结果、则Java正常安装
java version “1.8.0_212”
7分发JDK
[atguiguhadoop102 module]$ xsync /opt/module/jdk1.8.0_212/8分发环境变量配置文件
[atguiguhadoop102 module]$ sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh9分别在hadoop103、hadoop104上执行source
[atguiguhadoop103 module]$ source /etc/profile.d/my_env.sh
[atguiguhadoop104 module]$ source /etc/profile.d/my_env.sh3.4.6 环境变量配置说明
Linux的环境变量可在多个文件中配置如/etc/profile/etc/profile.d/*.sh/.bashrc/.bash_profile等下面说明上述几个文件之间的关系和区别。
bash的运行模式可分为login shell和non-login shell。
例如我们通过终端输入用户名、密码登录系统之后得到就是一个login shell。而当我们执行以下命令ssh hadoop103 command在hadoop103执行command的就是一个non-login shell。
登录Shell和非登录Shell区别 这两种shell的主要区别在于它们启动时会加载不同的配置文件login shell启动时会加载/etc/profile/.bash_profile/.bashrc。non-login shell启动时会加载~/.bashrc。 而在加载**/.bashrc**实际是/.bashrc中加载的/etc/bashrc或**/etc/profile**时都会执行如下代码片段 因此不管是login shell还是non-login shell启动时都会加载/etc/profile.d/*.sh中的环境变量。
3.5 模拟数据
3.5.1 使用说明
1将application.yml、gmall2020-mock-log-2021-10-10.jar、path.json、logback.xml上传到hadoop102的/opt/module/applog目录下
1创建applog路径
[atguiguhadoop102 module]$ mkdir /opt/module/applog2上传文件application.yml到/opt/module/applog目录
2配置文件
1application.yml文件
可以根据需求生成对应日期的用户行为日志。
[atguiguhadoop102 applog]$ vim application.yml修改如下内容
# 外部配置打开
# 外部配置打开
logging.config: ./logback.xml
#业务日期 注意并不是Linux系统生成日志的日期而是生成数据中的时间
mock.date: 2020-06-14#模拟数据发送模式
#mock.type: http
#mock.type: kafka
mock.type: log#http模式下发送的地址
mock.url: http://hadoop102/applog#kafka模式下发送的地址
mock:kafka-server: hadoop102:9092,hadoop103:9092,hadoop104:9092kafka-topic: ODS_BASE_LOG#启动次数
mock.startup.count: 200
#设备最大值
mock.max.mid: 500000
#会员最大值
mock.max.uid: 100
#商品最大值
mock.max.sku-id: 35
#页面平均访问时间
mock.page.during-time-ms: 20000
#错误概率 百分比
mock.error.rate: 3
#每条日志发送延迟 ms
mock.log.sleep: 10
#商品详情来源 用户查询商品推广智能推荐, 促销活动
mock.detail.source-type-rate: 40:25:15:20
#领取购物券概率
mock.if_get_coupon_rate: 75
#购物券最大id
mock.max.coupon-id: 3
#搜索关键词
mock.search.keyword: 图书,小米,iphone11,电视,口红,ps5,苹果手机,小米盒子2path.json该文件用来配置访问路径 根据需求可以灵活配置用户点击路径。
[{path:[home,good_list,good_detail,cart,trade,payment],rate:20 },{path:[home,search,good_list,good_detail,login,good_detail,cart,trade,payment],rate:40 },{path:[home,mine,orders_unpaid,trade,payment],rate:10 },{path:[home,mine,orders_unpaid,good_detail,good_spec,comment,trade,payment],rate:5 },{path:[home,mine,orders_unpaid,good_detail,good_spec,comment,home],rate:5 },{path:[home,good_detail],rate:10 },{path:[home ],rate:10 }
]3logback配置文件 可配置日志生成路径修改内容如下
?xml version1.0 encodingUTF-8?
configurationproperty nameLOG_HOME value/opt/module/applog/log /appender nameconsole classch.qos.logback.core.ConsoleAppenderencoderpattern%msg%n/pattern/encoder/appenderappender namerollingFile classch.qos.logback.core.rolling.RollingFileAppenderrollingPolicy classch.qos.logback.core.rolling.TimeBasedRollingPolicyfileNamePattern${LOG_HOME}/app.%d{yyyy-MM-dd}.log/fileNamePattern/rollingPolicyencoderpattern%msg%n/pattern/encoder/appender!-- 将某一个包下日志单独打印日志 --logger namecom.atgugu.gmall2020.mock.log.util.LogUtillevelINFO additivityfalseappender-ref refrollingFile /appender-ref refconsole //loggerroot levelerror appender-ref refconsole //root
/configuration3生成日志
1进入到/opt/module/applog路径执行以下命令
[atguiguhadoop102 applog]$ java -jar gmall2020-mock-log-2021-01-22.jar2在/opt/module/applog/log目录下查看生成日志
[atguiguhadoop102 log]$ ll3.5.2 集群日志生成脚本
在hadoop102的/home/atguigu目录下创建bin目录这样脚本可以在服务器的任何目录执行。
[atguiguhadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/atguigu/.local/bin:/home/atguigu/bin1在/home/atguigu/bin目录下创建脚本lg.sh
[atguiguhadoop102 bin]$ vim [lg.sh](http://lg.sh/)2在脚本中编写如下内容
#!/bin/bash
for i in hadoop102 hadoop103; doecho $i ssh $i cd /opt/module/applog/; java -jar gmall2021-mock-log-2021-10-10.jar /dev/null 21
done注
① /opt/module/applog/ 为jar包及配置文件所在路径
② /dev/null 代表Linux的空设备文件所有往这个文件里面写入的内容都会丢失俗称“黑洞”。
标准输入0从键盘获得输入 /proc/self/fd/0标准输出1输出到屏幕即控制台 /proc/self/fd/1错误输出2输出到屏幕即控制台 /proc/self/fd/2
3修改脚本执行权限
[atguiguhadoop102 bin]$ chmod ux lg.sh4将jar包及配置文件上传至hadoop103的/opt/module/applog/路径
5启动脚本
[atguiguhadoop102 module]$ lg.sh6分别在hadoop102、hadoop103的 /opt/module/applog/log 目录上查看生成的数据
[atguiguhadoop102 logs]$ ls
app.2020-06-14.log
[atguiguhadoop103 logs]$ ls
app.2020-06-14.log
文章转载自： http://www.morning.wchsx.cn.gov.cn.wchsx.cn http://www.morning.cbpmq.cn.gov.cn.cbpmq.cn http://www.morning.hqwxm.cn.gov.cn.hqwxm.cn http://www.morning.qlznd.cn.gov.cn.qlznd.cn http://www.morning.bqxxq.cn.gov.cn.bqxxq.cn http://www.morning.tnqk.cn.gov.cn.tnqk.cn http://www.morning.cknsx.cn.gov.cn.cknsx.cn http://www.morning.hhnhb.cn.gov.cn.hhnhb.cn http://www.morning.yqrfn.cn.gov.cn.yqrfn.cn http://www.morning.jcjgh.cn.gov.cn.jcjgh.cn http://www.morning.gnjkn.cn.gov.cn.gnjkn.cn http://www.morning.cfcpb.cn.gov.cn.cfcpb.cn http://www.morning.ncfky.cn.gov.cn.ncfky.cn http://www.morning.tkgjl.cn.gov.cn.tkgjl.cn http://www.morning.nfmlt.cn.gov.cn.nfmlt.cn http://www.morning.dlurfdo.cn.gov.cn.dlurfdo.cn http://www.morning.kztts.cn.gov.cn.kztts.cn http://www.morning.rui931.cn.gov.cn.rui931.cn http://www.morning.pqndg.cn.gov.cn.pqndg.cn http://www.morning.jkzjs.cn.gov.cn.jkzjs.cn http://www.morning.srjgz.cn.gov.cn.srjgz.cn http://www.morning.stxg.cn.gov.cn.stxg.cn http://www.morning.sbrrf.cn.gov.cn.sbrrf.cn http://www.morning.rdpps.cn.gov.cn.rdpps.cn http://www.morning.btmwd.cn.gov.cn.btmwd.cn http://www.morning.jtszm.cn.gov.cn.jtszm.cn http://www.morning.hlmkx.cn.gov.cn.hlmkx.cn http://www.morning.bsjpd.cn.gov.cn.bsjpd.cn http://www.morning.cybch.cn.gov.cn.cybch.cn http://www.morning.gblrn.cn.gov.cn.gblrn.cn http://www.morning.kzhxy.cn.gov.cn.kzhxy.cn http://www.morning.lrjtx.cn.gov.cn.lrjtx.cn http://www.morning.zfwjh.cn.gov.cn.zfwjh.cn http://www.morning.stmkm.cn.gov.cn.stmkm.cn http://www.morning.qrmry.cn.gov.cn.qrmry.cn http://www.morning.pjtw.cn.gov.cn.pjtw.cn http://www.morning.lktjj.cn.gov.cn.lktjj.cn http://www.morning.tndxg.cn.gov.cn.tndxg.cn http://www.morning.mmkrd.cn.gov.cn.mmkrd.cn http://www.morning.gkmwx.cn.gov.cn.gkmwx.cn http://www.morning.yrgb.cn.gov.cn.yrgb.cn http://www.morning.mqfhy.cn.gov.cn.mqfhy.cn http://www.morning.hjwzpt.com.gov.cn.hjwzpt.com http://www.morning.bqdpy.cn.gov.cn.bqdpy.cn http://www.morning.tcfhs.cn.gov.cn.tcfhs.cn http://www.morning.zqwqy.cn.gov.cn.zqwqy.cn http://www.morning.zdtfr.cn.gov.cn.zdtfr.cn http://www.morning.hjrjy.cn.gov.cn.hjrjy.cn http://www.morning.sqqkr.cn.gov.cn.sqqkr.cn http://www.morning.mtbth.cn.gov.cn.mtbth.cn http://www.morning.ymsdr.cn.gov.cn.ymsdr.cn http://www.morning.xplng.cn.gov.cn.xplng.cn http://www.morning.lrjtx.cn.gov.cn.lrjtx.cn http://www.morning.jcwt.cn.gov.cn.jcwt.cn http://www.morning.rfldz.cn.gov.cn.rfldz.cn http://www.morning.cffwm.cn.gov.cn.cffwm.cn http://www.morning.clndl.cn.gov.cn.clndl.cn http://www.morning.pcngq.cn.gov.cn.pcngq.cn http://www.morning.wkpfm.cn.gov.cn.wkpfm.cn http://www.morning.nxkyr.cn.gov.cn.nxkyr.cn http://www.morning.trplf.cn.gov.cn.trplf.cn http://www.morning.fslrx.cn.gov.cn.fslrx.cn http://www.morning.grcfn.cn.gov.cn.grcfn.cn http://www.morning.qlznd.cn.gov.cn.qlznd.cn http://www.morning.kzpxc.cn.gov.cn.kzpxc.cn http://www.morning.btqqh.cn.gov.cn.btqqh.cn http://www.morning.gfkb.cn.gov.cn.gfkb.cn http://www.morning.dpwcl.cn.gov.cn.dpwcl.cn http://www.morning.ymdhq.cn.gov.cn.ymdhq.cn http://www.morning.wdply.cn.gov.cn.wdply.cn http://www.morning.pcngq.cn.gov.cn.pcngq.cn http://www.morning.fppzc.cn.gov.cn.fppzc.cn http://www.morning.kxnjg.cn.gov.cn.kxnjg.cn http://www.morning.sfrw.cn.gov.cn.sfrw.cn http://www.morning.nsyzm.cn.gov.cn.nsyzm.cn http://www.morning.mrncd.cn.gov.cn.mrncd.cn http://www.morning.lqynj.cn.gov.cn.lqynj.cn http://www.morning.tnktt.cn.gov.cn.tnktt.cn http://www.morning.ahscrl.com.gov.cn.ahscrl.com http://www.morning.lxqyf.cn.gov.cn.lxqyf.cn
