知名网站排行榜,基金会网站建设方案,专业模板建站价格,网址之家大全ELK概述部署、Filebeat 分布式日志管理平台部署 一、ELK 简介二、ELK部署2.1、部署准备2.2、优化elasticsearch用户拥有的内存权限2.3、启动elasticsearch是否成功开启2.4、浏览器查看节点信息2.5、安装 Elasticsearch-head 插件2.6、ELK Logstash 部署#xff08;在 Apache 节… ELK概述部署、Filebeat 分布式日志管理平台部署 一、ELK 简介二、ELK部署2.1、部署准备2.2、优化elasticsearch用户拥有的内存权限2.3、启动elasticsearch是否成功开启2.4、浏览器查看节点信息2.5、安装 Elasticsearch-head 插件2.6、ELK Logstash 部署在 Apache 节点上操作2.7、ELK Kiabana 部署在 Node1 节点上操作) 三、Filebeat作为日志收集器 一、ELK 简介
ELK平台是一套完整的日志集中处理解决方案将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用 完成更强大的用户对日志的查询、排序、统计需求。ElasticSearch是基于Lucene一个全文检索引擎的架构开发的分布式存储检索引擎用来存储各类日志。 Elasticsearch 是用 Java 开发的可通过 RESTful Web 接口让用户可以通过浏览器与 Elasticsearch 通信。Elasticsearch是一个实时的、分布式的可扩展的搜索引擎允许进行全文、结构化搜索它通常用于索引和搜索大容量的日志数据也可用于搜索许多不同类型的文档。 KiabanaKibana 通常与 Elasticsearch 一起部署Kibana 是 Elasticsearch 的一个功能强大的数据可视化 DashboardKibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据可以用来汇总、分析和搜索重要数据。 Logstash作为数据收集引擎。它支持动态的从各种数据源搜集数据并对数据进行过滤、分析、丰富、统一格式等操作然后存储到用户指定的位置一般会发送给 Elasticsearch。 Logstash 由 Ruby 语言编写运行在 Java 虚拟机JVM上是一款强大的数据处理工具 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能常用于日志处理。 可以添加的其它组件Filebeat轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat并指定目录与日志格式Filebeat 就能快速收集数据并发送给 logstash 进行解析或是直接发给 Elasticsearch 存储性能上相比运行于 JVM 上的 logstash 优势明显是对它的替代。 常应用于 EFLK 架构当中。 ilebeat 结合 logstash 带来好处1.通过 Logstash 具有基于磁盘的自适应缓冲系统该系统将吸收传入的吞吐量从而减轻 Elasticsearch 持续写入数据的压力 2.从其他数据源例如数据库S3对象存储或消息传递队列中提取 3.将数据发送到多个目的地例如S3HDFSHadoop分布式文件系统或写入文件 4.使用条件数据流逻辑组成更复杂的处理管道
总结logstash作为日志搜集器从数据源采集数据并对数据进行过滤格式化处理然后交由Elasticsearch存储kibana对日志进行可视化处理。
二、ELK部署
2.1、部署准备
node1节点2C/4Gnode1/192.168.11.11Elasticsearchnode2节点2C/4Gnode2/192.168.11.12ElasticsearchApache节点apache192.168.11.13Logstash Kibana Apache
关闭防火墙所有节点systemctl stop firewalld
setenforce 0 设置Java环境
ELK是由java开发的必须运行在jvm上
java -version #如果没有安装yum -y install java
openjdk version 1.8.0_131
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)设置主机名
hostnamectl set-hostname es01 su
hostnamectl set-hostname es02 su
hostnamectl set-hostname apache su主机名映射所有节点vim /etc/hosts
192.168.11.11 es01
192.168.11.12 es02
192.168.11.13 apache部署 Elasticsearch 软件
1安装elasticsearch—rpm包
#上传elasticsearch-6.7.2.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-6.7.2.rpm2修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释指定集群名字
cluster.name: my-elk-cluster
--23--取消注释指定节点名字Node1节点为node1Node2节点为node2
node.name: node1
node.master: true #是否master节点false为否
node.data: true #是否数据节点false为否
--33--取消注释指定数据存放路径
path.data: /var/lib/elasticsearch
--37--取消注释指定日志存放路径
path.logs: /var/log/elasticsearch
--43--取消注释避免es使用swap交换分区
bootstrap.memory_lock: true
--55--取消注释设置监听地址0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释ES 服务的默认监听端口为9200
http.port: 9200 #指定es集群提供外部访问的接口
transport.tcp.port: 9300 #指定es集群内部通信接口
--68--取消注释集群发现通过单播实现指定要发现的节点
discovery.zen.ping.unicast.hosts: [192.168.11.11:9300, 192.168.11.12:9300]grep -v ^# /etc/elasticsearch/elasticsearch.yml安装elasticsearch—rpm包es01修改jvm配置文件优化备份配置文件修改配置文件过滤一下刚刚配置
cat elasticsearch.yml | grep -v ^#配置es02节点将es01配置导给es02做简单修改scp elasticsearch.yml es02:pwd es 性能调优参数es01和es02都要做
#优化最大内存大小和最大文件描述符的数量
vim /etc/security/limits.conf......
* soft nofile 65536 硬限制
* hard nofile 65536 软限制
* soft nproc 32000 打开进程数
* hard nproc 32000 打开线程数
* soft memlock unlimited 内存锁定不限制
* hard memlock unlimited 内存锁定不限制vim /etc/systemd/system.conf
DefaultLimitNOFILE65536 文件描述符
DefaultLimitNPROC32000 进程数
DefaultLimitMEMLOCKinfinity 内存限制 设置好之后重启生效reboot重启之后可以看下有没有生效ulimit -a 2.2、优化elasticsearch用户拥有的内存权限
由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的并且不可变对于OS来说能够很友好地将索引文件保持在cache中以便快速访问因此我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ESJVM heap )。所以 在ES内存设置方面可以遵循以下原则1.当机器内存小于64G时遵循通用的原则50%给ES50%留给操作系统供lucene使用 2.当机器内存大于64G时遵循原则建议分配给ES分配 4~32G 的内存即可其它内存留给操作系统供lucene使用
vim /etc/sysctl.confes01和es02节点都要做
#一个进程可以拥有的最大内存映射区域数参考数据分配 2g/2621444g/41943048g/8388608
vm.max_map_count262144sysctl -p
sysctl -a | grep vm.max_map_count 2.3、启动elasticsearch是否成功开启
systemctl start elasticsearch.service
systemctl enable elasticsearch.service
netstat -antp | grep 9200 2.4、浏览器查看节点信息
浏览器访问 http://192.168.11.11:9200 、 http://192.168.11.12:9200 查看节点 Node1、Node2 的信息。浏览器访问 http://192.168.11.11:9200/_cluster/health?pretty 、 http://192.168.11.12:9200/_cluster/health?pretty查看群集的健康情况可以看到 status 值为 green绿色 表示节点健康运行。浏览器访问 http://192.168.11.11:9200/_cluster/state?pretty 检查群集状态信息。#使用上述方式查看群集的状态对用户并不友好可以通过安装 Elasticsearch-head 插件可以更方便地管理群集。 2.5、安装 Elasticsearch-head 插件
Elasticsearch 在 5.0 版本后Elasticsearch-head 插件需要作为独立服务进行安装需要使用npm工具NodeJS的包管理工具安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs是一个基于 webkit 的JavaScriptAPI可以理解为一个隐形的浏览器任何基于 webkit 浏览器做的事情它都可以做到。编译安装 node、上传软件包 node-v8.2.1.tar.gz 到/opt
#安装依赖环境
yum install gcc gcc-c make -y#解压
cd /opt
tar zxf node-v8.2.1.tar.gz#编译安装
cd node-v8.2.1/
./configure
make -j2 make install 安装 phantomjs
上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt。#解压
cd /opt
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin#复制相关文件
cp phantomjs /usr/local/bin 安装 Elasticsearch-head 数据可视化工具上传软件包 elasticsearch-head-master.zip 到/opt。#解压软件包
cd /opt
unzip elasticsearch-head-master.zip#安装依赖包
cd /opt/elasticsearch-head-master/
npm install 修改 Elasticsearch 主配置文件vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持默认为 false
http.cors.allow-origin: * #指定跨域访问允许的域名地址为所有systemctl restart elasticsearch 启动 elasticsearch-head 服务#必须在解压后的 elasticsearch-head 目录下启动服务
#进程会读取该目录下的 gruntfile.js 文件
#否则可能启动失败
cd /opt/elasticsearch-head-master/
npm run start #elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100 通过 Elasticsearch-head 查看 Elasticsearch 信息#浏览器访问
http://192.168.11.14:9100/
连接群集
#如果看到群集健康值为 green 绿色代表群集很健康 插入索引#通过命令插入一个测试索引索引为 index-demo类型为 test。
curl -X PUT localhost:9200/index-demo/test/1?prettypretty -H content-Type: application/json -d {user:zhangsan,mesg:hello world} #浏览器访问
http://192.168.11.14:9100/ #查看索引信!(https://img-blog.csdnimg.cn/14b6ef17fff24f08ba3a8c94c67ef327.png)
息
可以看见索引默认被分片5个并且有一个副本#点击“数据浏览”
会发现在node1上创建的索引为 index-demo类型为 test 的相关信息。 2.6、ELK Logstash 部署在 Apache 节点上操作
Logstash 一般部署在需要监控其日志的服务器。
在本案例中Logstash 部署在 Apache 服务器上用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。
安装logstash和相关服务
安装Apahce服务httpdyum -y install httpd
systemctl start httpd 安装Java环境yum -y install java
java -version 安装logstash
上传软件包 logstash-6.7.2.rpm 到/opt目录下#rpm安装
cd /opt
rpm -ivh logstash-6.7.2.rpm
systemctl enable logstash.service --now#做软链接方便使用
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ 测试 Logstash将信息写入 Elasticsearch 中#使用 Logstash 将信息写入 Elasticsearch 中
logstash -e input { stdin{} } output { elasticsearch { hosts[192.168.11.14:9200] } }输入 输出 对接
......
www.baidu.com #键入内容标准输入
www.sina.com.cn #键入内容标准输入
www.google.com #键入内容标准输入#结果不在标准输出显示而是发送至 Elasticsearch 中 修改 logstash配置文件#修改 Logstash 配置文件让其收集系统日志/var/log/messages并将其输出到 elasticsearch 中。
chmod r /var/log/messages
#让 Logstash 可以读取日志cd /etc/logstash/conf.d/vim system.conf
input {file{path /var/log/messagestype systemstart_position beginning# ignore_older 604800sincedb_path /etc/logstash/sincedb_path/log_progressadd_field {log_hostname${HOSTNAME}}}
}
output {elasticsearch {hosts [192.168.11.14:9200,192.168.11.15:9200]index system-%{YYYY.MM.dd} }
}
#配置文件详解
#输入部分
input {file{path /var/log/messagestype systemstart_position beginning# ignore_older 604800sincedb_path /etc/logstash/sincedb_path/log_progressadd_field {log_hostname${HOSTNAME}}}
}
#path表示要收集的日志的文件位置
#type是输入ES时给结果增加一个叫type的属性字段
#start_position可以设置为beginning或者endbeginning表示从头开始读取文件end表示读取最新的这个要和ignore_older一起使用
#ignore_older表示了针对多久的文件进行监控默认一天单位为秒可以自己定制比如默认只读取一天内被修改的文件
#sincedb_path表示文件读取进度的记录每行表示一个文件每行有两个数字第一个表示文件的inode第二个表示文件读取到的位置byteoffset。默认为$HOME/.sincedb*
#add_field增加属性。这里使用了${HOSTNAME}即本机的环境变量如果要使用本机的环境变量那么需要在启动命令上加--alow-env##输出
output {elasticsearch { #输出到 elasticsearchhosts [192.168.2.100:9200,192.168.2.102:9200] #指定 elasticsearch 服务器的地址和端口index system-%{YYYY.MM.dd} #指定输出到 elasticsearch 的索引格式}
}
#新建文件路径
mkdir /etc/logstash/sincedb_path/touch /etc/logstash/sincedb_path/log_progress#修改文件的属主属组
chown logstash:logstash /etc/logstash/sincedb_path/log_progress#使用logstash启动配置文件
logstash -f system.conf 浏览器访问
http://192.168.11.14:9100/
查看索引信息 2.7、ELK Kiabana 部署在 Node1 节点上操作)
安装Kibana#上传软件包 kibana-6.7.2-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-6.7.2-x86_64.rpm 修改kibana主配置文件vim /etc/kibana/kibana.yml#2行 取消注释Kiabana 服务的默认监听端口为5601
server.port: 5601#7行 取消注释设置 Kiabana 的监听地址0.0.0.0代表所有地址
server.host: 0.0.0.0#28行 取消注释配置es服务器的ip如果是集群则配置该集群中master节点的ip
elasticsearch.url: [http://192.168.11.14:9200,http://192.168.11.15:9200] #37行 取消注释设置在 elasticsearch 中添加.kibana索引
kibana.index: .kibana#96行 取消注释配置kibana的日志文件路径需手动创建不然默认是messages里记录日志
logging.dest: /var/log/kibana.log 创建日志文件启动 Kibana 服务touch /var/log/kibana.log
chown kibana:kibana /var/log/kibana.logsystemctl start kibana.service
systemctl enable kibana.servicess -natp | grep 5601 验证 Kibana浏览器访问
http://192.168.11.14:5601 #第一次登录需要添加一个 Elasticsearch 索引
Management - Index Pattern - Create index pattern Index pattern 输入system-*
#在索引名中输入之前配置的 Output 前缀“system”Next step - Time Filter field name 选择 timestamp - Create index pattern 单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示在“Available Fields”中的“host”然后单击 “add”按钮可以看到按照“host”筛选后的结果
将 Apache 服务器的日志访问的、错误的添加到 Elasticsearch 并通过 Kibana 显示vim /etc/logstash/conf.d/apache_log.confinput {file{path /etc/httpd/logs/access_logtype accessstart_position beginning}file{path /etc/httpd/logs/error_logtype errorstart_position beginning}
}
output {if [type] access {elasticsearch {hosts [192.168.11.14:9200,192.168.11.15:9200]index apache_access-%{YYYY.MM.dd}}}if [type] error {elasticsearch {hosts [192.168.11.14:9200,192.168.11.15:9200]index apache_error-%{YYYY.MM.dd}}}
}
cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf 浏览器访问 http://192.168.11.14:9100 查看索引是否创建 浏览器访问 http://192.168.11.14:5601 登录 Kibana
单击“Index Pattern - Create Index Pattern”按钮添加索引
在索引名中输入之前配置的 Output 前缀 apache_access-*并单击“Create”按钮。
再用相同的方法添加 apache_error-*索引。 选择“Discover”选项卡
在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引 可以查看相应的图表及日志信息。 三、Filebeat作为日志收集器
ServerIPComponentsSystemNode1192.168.11.14Elasticsearch 、 KibanaCentOS7.4(64 位)Node2192.168.11.15ElasticsearchCentOS7.4(64 位)Apache192.168.11.13Logstash ApacheCentOS7.4(64 位)Filebeat节点192.168.11.16FilebeatCentOS7.4(64 位)
安装FilebeatNode1节点
上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录#解压软件包
tar zxvf filebeat-6.7.2-linux-x86_64.tar.gzmv filebeat-6.7.2-linux-x86_64/ /usr/local/filebeat 修改filebeat的主配置文件Node1节点cd /usr/local/filebeatvim filebeat.yml
filebeat.inputs:
- type: log
#指定 log 类型从日志文件中读取消息enabled: truepaths:- /var/log/messages #指定监控的日志文件- /var/log/*.logtags: [sys] #设置索引标签fields: #可以使用 fields 配置选项设置一些参数字段添加到 output 中service_name: filebeatlog_type: syslogfrom: 192.168.2.105--------------Elasticsearch output-------------------
(全部注释掉)----------------Logstash output---------------------
output.logstash:hosts: [192.168.11.13:5044] #指定 logstash 的 IP 和端口 启动 filebeat#启动 filebeat
nohup ./filebeat -e -c filebeat.yml filebeat.out
#-e输出到标准输出禁用syslog/文件输出
#-c指定配置文件
#nohup在系统后台不挂断地运行命令退出终端不会影响程序的运行
在 Logstash 组件所在节点上新建一个 Logstash 配置文件cd /etc/logstash/conf.dvim filebeat.conf
input {beats {port 5044}
}#filebeat发送给logstash的日志内容会放到message字段里面logstash使用grok插件正则匹配message字段内容进行字段分割
#Kibana自带grok的正则匹配的工具http://your kibana IP:5601/app/kibana#/dev_tools/grokdebugger
# %{IPV6}|%{IPV4} 为 logstash 自带的 IP 常量
filter {grok {match [message, (?remote_addr%{IPV6}|%{IPV4})[\s\-]\[(?logTime.*)\]\s\(?method\S)\s(?url_path.)\\s(?rev_code\d) \d \(?req_addr.)\ \(?content.*)\]}
}output {elasticsearch {hosts [192.168.11.14:9200,192.168.11.15:9200]index %{[fields][service_name]}-%{YYYY.MM.dd}}stdout {codec rubydebug}
}
#启动 logstash
logstash -f filebeat.conf 浏览器访问验证浏览器访问 http://192.168.11.14:5601 登录 Kibana
单击“Create Index Pattern”按钮添加索引“filebeat-*”
单击 “create” 按钮创建 单击 “Discover” 按钮可查看图表信息及日志信息。
