顺德销售型网站建设,网站建设分为哪几部分,html5网站后台,html5官网免费下载1.前言
日志在我们日常开发定位错误#xff0c;链路错误排查时必不可少#xff0c;如果我们只有一个服务#xff0c;我们可以只简单的通过打印的日志文件进行排查定位就可以#xff0c;但是在分布式服务环境下#xff0c;多个环境的日志统一收集、展示则成为一个问题。目…1.前言
日志在我们日常开发定位错误链路错误排查时必不可少如果我们只有一个服务我们可以只简单的通过打印的日志文件进行排查定位就可以但是在分布式服务环境下多个环境的日志统一收集、展示则成为一个问题。目前主流的日志收集服务ELK即便没用过肯定大家也肯定听说过就是Elasticsearch Logstash Kibana
Elasticsearch存储引擎存放日志内容利于全文检索Logstash数据传输管道将日志内容传输到Elasticsearch并且支持过滤内容将内容格式化后再传输可以满足绝大部分的应用场景Kibana开源的分析和可视化平台在这里查看Elasticsearch中的数据
ELK有点重服务占用资源高并且部署和维护有些复杂,所以后面又衍生出EFK Elasticsearch Filebeat Kibana用Filebeat替代Logstash做日志的收集它是由Golang开发够轻量占用资源少如果没有过滤日志内容进行格式化的需求用这个替代Logstash确实是很不错的选择。
但今天给大家分享一个更加轻量级别的ELK日志框架就是GrayLog Graylog整合方案是使用 Elasticsearch 来存储使用 MongoDB 来缓存并且还有带流量控制的throttling同时其界面查询简单易用且易于扩展。 2.Graylog介绍
Graylog 日志监控系统Graylog 是一个开源的日志聚合、分析、审计、展现和预警工具。在功能上来说和 ELK 类似但又比 ELK 要简单很多。
依靠着更加简洁高效部署使用简单的优势很快受到许多人的青睐。当然在扩展性上面确实没有比 ELK 好但是其有商业版本可以选择。
2.1 Graylog 工作流程介绍
部署 Graylog 最简单的架构就是单机部署复杂的也是部署集群模式架构图示如下所示。
我们可以看到其中包含了三个组件分别是 Elasticsearch、MongoDB 和 Graylog。
其中
Elasticsearch 用来持久化存储和检索日志文件数据IO 密集MongoDB 用来存储关于 Graylog 的相关配置Graylog 来提供 Web 界面和对外接口的CPU 密集
2.2 Graylog 组件功能
配置 Graylog 服务的核心就是理解对应组件的功能以及其运作方式
简单来讲Input 表示日志数据的来源对不同来源的日志可以通过 Extractors 来进行日志的字段转换比如将 Nginx 的状态码变成对应的英文表述等。
然后通过不同的标签类型分组成不用的 Stream并将这些日志数据存储到指定的Index 库中进行持久化保存。
Graylog 中的核心服务组件如下图所示
具体流程如下 1.Graylog 通过 Input 搜集日志每个 Input 单独配置 Extractors 用来做字段转换。
2.Graylog 中日志搜索的基本单位是 Stream每个 Stream 可以有自己单独的 Elastic Index Set也可以共享一个 Index Set。
3.Extractor 在 System/Input 中配置。Graylog 中很方便的一点就是可以加载一条日志然后基于这个实际的例子进行配置并能直接看到结果。
4.内置的 Extractor 基本可以完成各种字段提取和转换的任务但是也有些限制在应用里写日志的时候就需要考虑到这些限制。Input 可以配置多个 Extractors按照顺序依次执行。
5.系统会有一个默认的 Stream所有日志默认都会保存到这个 Stream 中除非匹配了某个 Stream并且这个 Stream 里配置了不保存日志到默认 Stream。
6.可以通过菜单 Streams 创建更多的 Stream新创建的 Stream 是暂停状态需要在配置完成后手动启动。
7.Stream 通过配置条件匹配日志满足条件的日志添加 stream ID 标识字段并保存到对应的 Elastic Index Set 中。
8.Index Set 通过菜单 System/Indices 创建。日志存储的性能可靠性和过期策略都通过 Index Set 来配置。
9.性能和可靠性就是配置 Elastic Index 的一些参数主要参数包括Shards 和 Replicas。
除了上面提到的日志处理流程Graylog 还提供了 Pipeline 脚本实现更灵活的日志处理方案。
这里不详细阐述只介绍如果使用 Pipelines 来过滤不需要的日志。下面是丢弃 level 6 的所有日志的 Pipeline Rule 的例子。
rule discard debug messages
whento_long($message.level) 6
thendrop_message();
end从数据采集input字段解析extractor分流到 stream再到 Pipeline 的清洗一气呵成无需在通过其他方式进行二次加工。
Sidecar 是一个轻量级的日志采集器通过访问 Graylog 进行集中式管理支持 Linux 和 windows 系统。
Sidecar 守护进程会定期访问 Graylog 的 REST API 接口获取 Sidecar 配置文件中定义的标签tagSidecar 在首次运行时会从 Graylog 服务器拉取配置文件中指定标签tag的配置信息同步到本地。
目前 Sidecar 支持 NXLogFilebeat 和 Winlogbeat。他们都通过 Graylog 中的 web 界面进行统一配置支持 Beats、CEF、Gelf、Json API、NetFlow 等输出类型。
Graylog 最厉害的在于可以在配置文件中指定 Sidecar 把日志发送到哪个 Graylog 群集并对 Graylog 群集中的多个 input 进行负载均衡这样在遇到日志量非常庞大的时候Graylog 也能应付自如。
日志集中保存到 Graylog 后就可以方便的使用搜索了。不过有时候还是需要对数据进行近一步的处理。
主要有两个途径:
直接访问 Elastic 中保存的数据通过 Graylog 的 Output 转发到其它服务
更多grayLog的介绍可异步至https://docs.graylog.org/docs
3.部署Graylog
新建一个docker-compose-graylog.yml 的内容PS上面的官方使用文档中就有也可以跟着我的思路直接复制粘贴也可以
version: 3
services:mongo:image: mongo:4.2networks:- graylogelasticsearch:image: docker.elastic.co/elasticsearch/elasticsearch-oss:7.10.2environment:- http.host0.0.0.0- transport.hostlocalhost- network.host0.0.0.0- ES_JAVA_OPTS-Dlog4j2.formatMsgNoLookupstrue -Xms512m -Xmx512mulimits:memlock:soft: -1hard: -1deploy:resources:limits:memory: 1gnetworks:- grayloggraylog:image: graylog/graylog:4.2environment:- GRAYLOG_PASSWORD_SECRETsomepasswordpepper- GRAYLOG_ROOT_PASSWORD_SHA28c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918- GRAYLOG_HTTP_EXTERNAL_URIhttp://127.0.0.1:9000/ # 这里注意要改ip- GRAYLOG_TIMEZONEAsia/Shanghai- GRAYLOG_ROOT_TIMEZONEAsia/Shanghaientrypoint: /usr/bin/tini -- wait-for-it elasticsearch:9200 -- /docker-entrypoint.shnetworks:- graylogrestart: alwaysdepends_on:- mongo- elasticsearchports:- 9000:9000- 1514:1514- 1514:1514/udp- 12201:12201- 12201:12201/udp
networks:graylog:driver: bridg这个文件里唯一需要改动的就是 ip
嗯写完 docker-compose-graylog.yml 文件直接运行
docker-compose -f docker-compose-graylog.yml up -d即可
如果没有安装docker-compose的可以移步至此Docker-Compose安装教程 如果出现以下错误
failed to create network docker-compose_graylog: Error response from daemon: plugin bridg not found可以先通过指令
docker network create docker-compose_graylog注意docker-compose_graylog需要和你报错的network名称一致 然后再输入启动指令
docker-compose -f docker-compose-graylog.yml up -d启动以后我们就可以通过 ip:port127.0.0.1:9000 访问对应的Graylog后台地址了默认的账号和密码是 admin/admin启动以后我们就可以通过 ip:port 访问对应的Graylog后台地址了
随后我们配置下 inputs 的配置找到 GELF UDP 然后点击 Launch new input 只需要填写 Title 字段保存就可以了其他不用动。 至此gray-log配置完成
4.SpringBoot集成GrayLog
4.1 引入依赖
dependencygroupIdde.siegmar/groupIdartifactIdlogback-gelf/artifactIdversion3.0.0/version
/dependency4.2 新增相关配置
接着在项目的resources目录下新建一个logback.xml文件编辑文件内容如下
?xml version1.0 encodingUTF-8?configuration scantrue scanPeriod10 secondscontextNamelogback/contextName!-- 格式化输出%date表示日期%thread表示线程名%-5level级别从左显示5个字符宽度 %msg日志消息%n是换行符--property nameLOG_PATTERN value%date{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n/!-- property nameLOG_PATTERN--!-- value%red(%d{yyyy-MM-dd HH:mm:ss}) %green([%thread]) %highlight(%-5level) %boldMagenta(%logger) - %cyan(%msg%n)/--!-- 定义日志存储的路径不要配置相对路径 --!-- property nameFILE_PATH valueC:/Users/NineSun/Desktop/log/identity-log.%d{yyyy-MM-dd}.%i.log/--!--0. 日志格式和颜色渲染 --!-- 彩色日志依赖的渲染类 --conversionRule conversionWordclrconverterClassorg.springframework.boot.logging.logback.ColorConverter/conversionRule conversionWordwexconverterClassorg.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter/conversionRule conversionWordwExconverterClassorg.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter/!-- 彩色日志格式 --property nameCONSOLE_LOG_PATTERNvalue${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}/appender nameGELF classde.siegmar.logbackgelf.GelfUdpAppendergraylogHost127.0.0.1/graylogHostgraylogPort12201/graylogPort!-- 最大GELF数据块大小单位字节508为建议最小值最大值为65467 --maxChunkSize508/maxChunkSize!-- 是否使用压缩 --useCompressiontrue/useCompressionencoder classde.siegmar.logbackgelf.GelfEncoder!-- 是否发送原生的日志信息 --includeRawMessagetrue/includeRawMessageincludeMarkertrue/includeMarkerincludeMdcDatatrue/includeMdcDataincludeCallerDatatrue/includeCallerDataincludeRootCauseDatatrue/includeRootCauseData!-- 是否发送日志级别的名称否则默认以数字代表日志级别 --includeLevelNametrue/includeLevelNameshortPatternLayout classch.qos.logback.classic.PatternLayoutpattern%m%nopex/pattern/shortPatternLayoutfullPatternLayout classch.qos.logback.classic.PatternLayoutpattern%d - [%thread] %-5level %logger{35} - %msg%n/pattern/fullPatternLayout!-- 配置应用名称服务名称通过staticField标签可以自定义一些固定的日志字段 --staticFieldapp_name:test/staticField/encoder/appender!-- 控制台输出日志 --appender nameconsole classch.qos.logback.core.ConsoleAppender!-- 日志级别过滤INFO以下 --filter classch.qos.logback.classic.filter.ThresholdFilterlevelinfo/level/filterencoder!-- 按照上面配置的LOG_PATTERN来打印日志 --pattern${CONSOLE_LOG_PATTERN}/pattern/encoder/appender!-- 日志输出级别 --root leveldebugappender-ref refGELF/appender-ref refconsole//root
/configuration在appilcation.properties配置文件中设置日志配置文件
logging.configclasspath:logback.xml在这个配置信息里唯一要改的也只是 ip 的地址重新启动项目到这里接入就完毕了我们再打开控制台就能看到日志的信息啦。
4.3 graylog常用操作
1.graylog各个功能介绍 2.报警与通知 由于报警与通知种类较多后面会专出一篇文章来介绍此处先跳过
3.stream流
这个过程也相对复杂一点不在本文中赘述防止影响篇幅后面也会专门介绍此处只简单介绍一下其功能
默认情况下是需要配置一个input 就可以自动与all-message streams绑定 做到开箱即用
但是我们有可能想对不同的项目使用不同的streams 使用不同的索引管理日志例如 nginx的日志保存3天 业务日志保存一个月
input streams index 的关系如下
