wordpress百度熊掌,seo推广平台服务,jpress wordpress,上海百度seo点击软件loki是grafana旗下轻量级日志收集工具#xff0c;为了减少loki对集群的影响#xff0c;把loki的agent日志收集端promtail部署在k8s集群中#xff0c;loki server部署在集群外面。这样简单做一个解耦#xff0c;避免大量读写的应用影响到集群内业务服务。
一、promtail部署…loki是grafana旗下轻量级日志收集工具为了减少loki对集群的影响把loki的agent日志收集端promtail部署在k8s集群中loki server部署在集群外面。这样简单做一个解耦避免大量读写的应用影响到集群内业务服务。
一、promtail部署
helm配置文件这里简单说一下promtail会自动从每台k8s node的容器目录去收集日志默认是按照deployment的name进行拆分job例如dp的名称是test和bagajob就会是test和baga 这里url写集群外的loki地址就行
cat vaules.yamlEOF
config:clients:- url: http://172.28.199.199:3100/loki/api/v1/pushresources:limits:cpu: 300mmemory: 300Mirequests:cpu: 100mmemory: 100Mitolerations:- effect: NoSchedulekey: node-role.kubernetes.io/master
EOF安装promtail
kubectl create namespace logging
helm upgrade --install promtail grafana/promtail -f values.yaml --namespace logging二、安装配置loki
2.1、docker-compose文件
cat docker-compose.yaml EOF
version: 3services:loki:image: grafana/loki:latestports:- 3100:3100- 9095:9095volumes:- ./loki-data:/loki- ./loki-config.yaml:/etc/loki/local-config.yamluser: rootcommand: [-config.file/etc/loki/local-config.yaml]
EOF2.2、loki-config文件
cat loki-config.yaml EOF
server:http_listen_port: 3100common: #通用配置path_prefix: /lokistorage:filesystem:chunks_directory: /loki/chunksrules_directory: /loki/rulesreplication_factor: 1ring:kvstore:store: inmemoryschema_config:configs:- from: 2020-10-24 # 架构配置的生效日期store: boltdb-shipper # 存储类型object_store: filesystem # 对象存储类型为文件系统schema: v11 # 架构版本index: # 索引配置prefix: index_ # 索引前缀period: 24h # 索引周期storage_config: # 存储相关boltdb_shipper:active_index_directory: /loki/boltdb-shipper-active # 活动索引的目录cache_location: /loki/boltdb-shipper-cache # 缓存位置cache_ttl: 24h # 缓存的过期时间shared_store: filesystem # 共享存储类型为文件系统filesystem:directory: /loki/chunks # 文件系统的目录compactor:working_directory: /loki/boltdb-shipper-compactor # 紧缩器的工作目录shared_store: filesystem # 共享存储类型为文件系统limits_config:reject_old_samples: true # 是否拒绝旧样本reject_old_samples_max_age: 72h # 72小时之前的样本被拒绝max_entries_limit_per_query: 9999 # 数值改为自己想要的最大查询行数ingestion_rate_mb: 32 # mb单位每个用户每秒的采样率限制 不设置客户端会报错ingestion_burst_size_mb: 64 # 每个用户允许的采样突发大小chunk_store_config:max_look_back_period: 72h # 为避免查询超过保留期的数据必须小于或等于下方的时间值table_manager:retention_deletes_enabled: true # 保留删除开启retention_period: 72h # 超过72h的块数据将被删除
auth_enabled: false
EOF经过三天后发现数据保留72h是有效的
2.3、启动loki server
$ docker-compose up -d
# 这里的loki-data目录是loki的data目录映射出来了 ./loki-data:/loki
rootip-172-28-199-199:/data/loki# ls
docker-compose.yaml loki-config.yaml loki-data2.4、写入测试数据
在没有grafana时测试loki可用性
curl -X POST http://172.28.199.199:3100/loki/api/v1/push -H Content-Type: application/json -d {streams: [{stream: {job: test-job,host: example},values: [[ $(date %s%N), Hello Loki from test-job ]]}]
}2.5、查看loki的job信息
$ curl http://172.28.199.199:3100/loki/api/v1/label/job/values
{status:success,data:[logging/promtail,sijia-test/vault-demo,test-job,vault/vault,vault/vault-agent-injector,velero/velero]}三、部署grafana
loki的ui就是grafana
3.1、docker-compose文件
直接把ldap也配置了
version: 3.7services:grafana:image: grafana/grafana:latestcontainer_name: grafanaports:- 3000:3000restart: alwaysvolumes:- ./grafana_data:/var/lib/grafana- ./ldap.toml:/etc/grafana/ldap.tomlenvironment:- GF_AUTH_LDAP_ENABLEDtrue- GF_AUTH_LDAP_CONFIG_FILE/etc/grafana/ldap.toml3.2、ldap配置
ldap.toml这是测试环境所以用户权限都给Admin了
[[servers]]
# LDAP 服务器的地址和端口
host 172.28.224.89
port 389
use_ssl false
start_tls false
ssl_skip_verify false# 用于绑定 LDAP 服务器的用户凭证
bind_dn cnadmin,dcxx,dccom
bind_password xx.compassword# 搜索过滤器和基础 DN用于查找用户
search_filter (uid%s)
search_base_dns [dcxx,dccom]# LDAP 属性映射
[servers.attributes]
name uid
surname sn
username cn
member_of dn
email email# 组映射所有用户默认分配 Admin 角色
[[servers.group_mappings]]
group_dn *
org_role Admin查看ldap验证信息
docker logs grafana -f | grep ldap3.3、在grafana中查询
通过Explore查询
3.4、通过模板查询
我当前用了dash_id 13639每个服务都对应一个App 文章转载自： http://www.morning.gfznl.cn.gov.cn.gfznl.cn http://www.morning.fkcjs.cn.gov.cn.fkcjs.cn http://www.morning.lkbkd.cn.gov.cn.lkbkd.cn http://www.morning.hkgcx.cn.gov.cn.hkgcx.cn http://www.morning.mbrbk.cn.gov.cn.mbrbk.cn http://www.morning.rryny.cn.gov.cn.rryny.cn http://www.morning.jfxth.cn.gov.cn.jfxth.cn http://www.morning.srmpc.cn.gov.cn.srmpc.cn http://www.morning.nkllb.cn.gov.cn.nkllb.cn http://www.morning.mjytr.cn.gov.cn.mjytr.cn http://www.morning.gjws.cn.gov.cn.gjws.cn http://www.morning.lxhrq.cn.gov.cn.lxhrq.cn http://www.morning.kvzvoew.cn.gov.cn.kvzvoew.cn http://www.morning.kjksn.cn.gov.cn.kjksn.cn http://www.morning.xqkcs.cn.gov.cn.xqkcs.cn http://www.morning.rxhs.cn.gov.cn.rxhs.cn http://www.morning.rfxg.cn.gov.cn.rfxg.cn http://www.morning.hkcjx.cn.gov.cn.hkcjx.cn http://www.morning.plchy.cn.gov.cn.plchy.cn http://www.morning.nmnhs.cn.gov.cn.nmnhs.cn http://www.morning.rytps.cn.gov.cn.rytps.cn http://www.morning.sbqrm.cn.gov.cn.sbqrm.cn http://www.morning.wnhml.cn.gov.cn.wnhml.cn http://www.morning.mcpby.cn.gov.cn.mcpby.cn http://www.morning.gmdtk.cn.gov.cn.gmdtk.cn http://www.morning.dhpjq.cn.gov.cn.dhpjq.cn http://www.morning.yqkmd.cn.gov.cn.yqkmd.cn http://www.morning.glwyn.cn.gov.cn.glwyn.cn http://www.morning.yhjrc.cn.gov.cn.yhjrc.cn http://www.morning.coffeedelsol.com.gov.cn.coffeedelsol.com http://www.morning.sbkb.cn.gov.cn.sbkb.cn http://www.morning.ppzgr.cn.gov.cn.ppzgr.cn http://www.morning.glnfn.cn.gov.cn.glnfn.cn http://www.morning.crfyr.cn.gov.cn.crfyr.cn http://www.morning.nxkyr.cn.gov.cn.nxkyr.cn http://www.morning.kpypy.cn.gov.cn.kpypy.cn http://www.morning.rgyts.cn.gov.cn.rgyts.cn http://www.morning.gkgb.cn.gov.cn.gkgb.cn http://www.morning.ryqsq.cn.gov.cn.ryqsq.cn http://www.morning.nlqgb.cn.gov.cn.nlqgb.cn http://www.morning.dongyinet.cn.gov.cn.dongyinet.cn http://www.morning.xnbd.cn.gov.cn.xnbd.cn http://www.morning.tpbhf.cn.gov.cn.tpbhf.cn http://www.morning.zlff.cn.gov.cn.zlff.cn http://www.morning.kfbth.cn.gov.cn.kfbth.cn http://www.morning.bqxxq.cn.gov.cn.bqxxq.cn http://www.morning.nypgb.cn.gov.cn.nypgb.cn http://www.morning.bmssj.cn.gov.cn.bmssj.cn http://www.morning.wfyqn.cn.gov.cn.wfyqn.cn http://www.morning.wbqk.cn.gov.cn.wbqk.cn http://www.morning.jnvivi.com.gov.cn.jnvivi.com http://www.morning.nrqnj.cn.gov.cn.nrqnj.cn http://www.morning.mxhys.cn.gov.cn.mxhys.cn http://www.morning.qbjrl.cn.gov.cn.qbjrl.cn http://www.morning.fpyll.cn.gov.cn.fpyll.cn http://www.morning.rwcw.cn.gov.cn.rwcw.cn http://www.morning.c7513.cn.gov.cn.c7513.cn http://www.morning.ktmnq.cn.gov.cn.ktmnq.cn http://www.morning.pnntx.cn.gov.cn.pnntx.cn http://www.morning.tpdg.cn.gov.cn.tpdg.cn http://www.morning.qpqwd.cn.gov.cn.qpqwd.cn http://www.morning.phgz.cn.gov.cn.phgz.cn http://www.morning.qymqh.cn.gov.cn.qymqh.cn http://www.morning.nqyfm.cn.gov.cn.nqyfm.cn http://www.morning.gmgnp.cn.gov.cn.gmgnp.cn http://www.morning.grryh.cn.gov.cn.grryh.cn http://www.morning.zqdhr.cn.gov.cn.zqdhr.cn http://www.morning.hflrz.cn.gov.cn.hflrz.cn http://www.morning.nbybb.cn.gov.cn.nbybb.cn http://www.morning.lfmwt.cn.gov.cn.lfmwt.cn http://www.morning.cxnyg.cn.gov.cn.cxnyg.cn http://www.morning.swkpq.cn.gov.cn.swkpq.cn http://www.morning.zyffq.cn.gov.cn.zyffq.cn http://www.morning.xtrzh.cn.gov.cn.xtrzh.cn http://www.morning.xjkfb.cn.gov.cn.xjkfb.cn http://www.morning.ydmml.cn.gov.cn.ydmml.cn http://www.morning.ftnhr.cn.gov.cn.ftnhr.cn http://www.morning.ndxss.cn.gov.cn.ndxss.cn http://www.morning.plkrl.cn.gov.cn.plkrl.cn http://www.morning.tqldj.cn.gov.cn.tqldj.cn
