网站建设的环境,服务专业的建网站公司电话,网站的商业授权,哈尔滨互联网公司概述 深信服防火墙自身监控可以满足绝大部分需求#xff0c;比如哪个应用占了最大带宽#xff0c;哪个用户访问了哪些网站#xff1f;这里我们为什么使用鸿鹄呢#xff1f;因为我们要的是数据的处理和分析#xff0c;比如某个用户在某个事件都做了哪些行为#xff0c;这个…概述 深信服防火墙自身监控可以满足绝大部分需求比如哪个应用占了最大带宽哪个用户访问了哪些网站这里我们为什么使用鸿鹄呢因为我们要的是数据的处理和分析比如某个用户在某个事件都做了哪些行为这个在防火墙上去查看日志是巨大的工作量效率低费时长且容易错漏。而这个恰恰是鸿鹄擅长。我们在运维中不能仅仅关注在监控上更扩展到安全上从而保证整个基础架构的稳定、安全运行。 监控目标 收集并保存防火墙设备的日志满足等保要求
监控防火墙的登录安全
监控防火墙的配置安全
提供基于用户或IP或其他关键字的搜索强化安全 安装vector Vector作为数据采集器可以接收设备的syslog日志并转发鸿鹄平台。Vector配置方法参考下文 安装Vector 查看安装后vector版本确认安装成功 vector安装好后直接执行vector 时系统首先会去/usr/bin下寻找命令如果不在这个目录中就会找不到了。这个时候我们就需要为这些找不到的命令建立一个链接文件链接到/usr/bin下 登录鸿鹄平台数据管理新建数据集 编辑数据源名称选择数据集范围为上面创建的“switch”此时会启用 创建syslog.toml脚本需要调整字段 address 0.0.0.0:5140.0.0.0表示接收所有主机发送过来的syslog514表示接收的端口syslog默认为514 mode udp表示接收syslog的协议syslog默认为udp ._target_table switch : 表示上文你创建的数据集名称 address 172.20.6.111:9092鸿鹄的IP和相应的端口 运行修改的syslog脚本注意保持运行状态。 登录交换机触发syslog注登录交换机输入命令都会自动触发syslog。登录鸿鹄平台查看数据是否导入到switch数据集。如下图事件计数已经显示数据导入成功 查询下通过vector导入到switch数据集的数据 配置防火墙syslog syslog配置填写鸿鹄IP和端口号应用 字段抽取 深信服由于是国产防火墙防火墙日志字段很多包含中文因此我们需要再次抽取字段。字段抽取的逻辑是先通过sql语句创建视图视图生成后我们就可以直接调用视图里的字段它实际日志仍旧存放在原数据集。 我们先分析下日志格式。 通过以下两条日志我们可以看到日志格式后半段的格式是不一样的针对这种情况我这里的做法是先抽取共性字段再单独逐个抽取不同类型的日志字段。
以该日志为例 共性字段抽取 以该日志为例 sangfor_syslog这里是需要新建的视图名称 switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集这里需要根据你的数据集名称替换
where contains( switch._message, 日志类型) 日志类型指的是你要搜索到这个写日志特定的字段通过’日志类型‘可以限定日志里所有包含日志类型的日志 正则表达式如何写以及测试 访问https://regex101.com/在REGULAR EXPRESSION里填写正则表达式或直接在这里写
在TESTING STRING里输入日志可以直接从鸿鹄上拷贝相关的日志 正则表达式如果是正确的会生成对应的颜色以及右下角会Match information里会显示抽取的字段名和字段内容 在高阶查询中运行成功 在视图里可以查看到我们创建的sangfor_syslog的视图 我们运行搜索语句测试下同时在红色部分可以看到我们抽取出来的字段 NAT字段抽取 以该日志为例 sangfor_nat_syslog这里是需要新建的视图名称 switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集这里需要根据你的数据集名称替换 where contains( switch._message, NAT) 日志类型指的是你要搜索到这个写日志特定的字段通过NAT可以限定日志里所有包含NAT的日志 正则表达式如何写以及测试 访问https://regex101.com/在REGULAR EXPRESSION里填写正则表达式或直接在这里写
在TESTING STRING里输入日志可以直接从鸿鹄上拷贝相关的日志 正则表达式如果是正确的会生成对应的颜色以及右下角会Match information里会显示抽取的字段名和字段内容 注意正则表达式写的时候抽取字段group一定都要命名不然就不要定义为group。比如下面的正则表达式由于红色部分选择了抽取确又没有定义字段名称那么鸿鹄在抽取匹配字段时就会异常虽然结果是成功的但是字段都没有抽取出来。
(?\w{3}\s\d{2}\s\d{2}:\d{2}:\d{2})\s\w\s(?\w):\s\D{4}:(?\D{5}),\s\D{5}:(?\w),\s\D{3}:(?\d.\d.\d.\d),\s\D{3}:(?\d),\s\D{4}:(?\d.\d.\d.\d),\s\D{4}:(?\d),\s\D{2}:(\d),\s\D{6}:(?\d.\d.\d.\d),\s\D{6}:(?\d)$ 在高阶查询中运行成功 在视图里可以查看到我们创建的sangfor_nat_syslog的视图 我们运行搜索语句测试下同时在红色部分可以看到我们抽取出来的字段 login字段抽取 防火墙日志每个组件的日志格式各不相同那么我们可能需要根据自己的情况进行多次字段抽取上文已详述过字段抽取方法这里只提供抽取字段脚本供参考 图表展示 在图表创建部分我这边每个类型的图表只会举一个例子但会把所有的搜索语言列出来供大家参考。 仪表板新建仪表板 创建完成 日志告警等级统计 新建图表日志类别
选择图表类型饼图
查询语句这个语句可以先在查询里验证确认查找的结果是想要的
时间范围选择1天可以根据自己的情况调整 生成图表后可以查看各种类型的日志的统计 目的用于统计日志总量查看类别的统计总数。另外一点好看。 登录事件明细 新建图表登录事件明细
选择图表类型表格
查询语句这个语句可以先在查询里验证确认查找的结果是想要的
时间范围选择1天可以根据自己的情况调整 生成图表后可以查看设备登录的明细比如哪个用户哪个时间从哪个IP登录 目的用于判断是否有异常登录或密码探测行为 登录事件明细 新建图表设备数量
选择图表类型单值趋势图
查询语句这个语句可以先在查询里验证确认查找的结果是想要的
时间范围选择30分钟可以根据自己的情况调整 生成图表后可以统计所有日志的发送到鸿鹄的服务器数量。 目的用于确认当前监控的设备总计数量便于检查错漏主要为了图表布局的好看。 搜索语句 以下列出所有本文中的搜索语句供参考 小提示搜索语句命令部分会调用抽取的字符段如果未抽取字段会出现报错 效果图 图表创建完成后我们选择“网格布局”对图表布局进行优化调整最终效果图如下 文章转载自： http://www.morning.bndkf.cn.gov.cn.bndkf.cn http://www.morning.gjfym.cn.gov.cn.gjfym.cn http://www.morning.qlxgc.cn.gov.cn.qlxgc.cn http://www.morning.mtbth.cn.gov.cn.mtbth.cn http://www.morning.knpbr.cn.gov.cn.knpbr.cn http://www.morning.fyglg.cn.gov.cn.fyglg.cn http://www.morning.bfnbn.cn.gov.cn.bfnbn.cn http://www.morning.nypsz.cn.gov.cn.nypsz.cn http://www.morning.gmjkn.cn.gov.cn.gmjkn.cn http://www.morning.yggdq.cn.gov.cn.yggdq.cn http://www.morning.ygpdm.cn.gov.cn.ygpdm.cn http://www.morning.bgdk.cn.gov.cn.bgdk.cn http://www.morning.xkjrs.cn.gov.cn.xkjrs.cn http://www.morning.pfcrq.cn.gov.cn.pfcrq.cn http://www.morning.smpb.cn.gov.cn.smpb.cn http://www.morning.rmrcc.cn.gov.cn.rmrcc.cn http://www.morning.mydgr.cn.gov.cn.mydgr.cn http://www.morning.kxymr.cn.gov.cn.kxymr.cn http://www.morning.qxwgx.cn.gov.cn.qxwgx.cn http://www.morning.btqqh.cn.gov.cn.btqqh.cn http://www.morning.mbdbe.cn.gov.cn.mbdbe.cn http://www.morning.elbae.cn.gov.cn.elbae.cn http://www.morning.wlbwp.cn.gov.cn.wlbwp.cn http://www.morning.ylqpp.cn.gov.cn.ylqpp.cn http://www.morning.bnlch.cn.gov.cn.bnlch.cn http://www.morning.mdgpp.cn.gov.cn.mdgpp.cn http://www.morning.qfmcm.cn.gov.cn.qfmcm.cn http://www.morning.lskyz.cn.gov.cn.lskyz.cn http://www.morning.rswtz.cn.gov.cn.rswtz.cn http://www.morning.ggnkt.cn.gov.cn.ggnkt.cn http://www.morning.kqpxb.cn.gov.cn.kqpxb.cn http://www.morning.huarma.com.gov.cn.huarma.com http://www.morning.xysdy.cn.gov.cn.xysdy.cn http://www.morning.rnxw.cn.gov.cn.rnxw.cn http://www.morning.nkqxb.cn.gov.cn.nkqxb.cn http://www.morning.duckgpt.cn.gov.cn.duckgpt.cn http://www.morning.wfysn.cn.gov.cn.wfysn.cn http://www.morning.mdmxf.cn.gov.cn.mdmxf.cn http://www.morning.btmwd.cn.gov.cn.btmwd.cn http://www.morning.msgnx.cn.gov.cn.msgnx.cn http://www.morning.qtzk.cn.gov.cn.qtzk.cn http://www.morning.rtbhz.cn.gov.cn.rtbhz.cn http://www.morning.fkyqm.cn.gov.cn.fkyqm.cn http://www.morning.pljxz.cn.gov.cn.pljxz.cn http://www.morning.kzhxy.cn.gov.cn.kzhxy.cn http://www.morning.sbkb.cn.gov.cn.sbkb.cn http://www.morning.rtjhw.cn.gov.cn.rtjhw.cn http://www.morning.ydhck.cn.gov.cn.ydhck.cn http://www.morning.wcyr.cn.gov.cn.wcyr.cn http://www.morning.mrlls.cn.gov.cn.mrlls.cn http://www.morning.dzpnl.cn.gov.cn.dzpnl.cn http://www.morning.mhmsn.cn.gov.cn.mhmsn.cn http://www.morning.kpxzq.cn.gov.cn.kpxzq.cn http://www.morning.4r5w91.cn.gov.cn.4r5w91.cn http://www.morning.nrzkg.cn.gov.cn.nrzkg.cn http://www.morning.cgntj.cn.gov.cn.cgntj.cn http://www.morning.glswq.cn.gov.cn.glswq.cn http://www.morning.tqjks.cn.gov.cn.tqjks.cn http://www.morning.nggbf.cn.gov.cn.nggbf.cn http://www.morning.nspzy.cn.gov.cn.nspzy.cn http://www.morning.ktlxk.cn.gov.cn.ktlxk.cn http://www.morning.yrbp.cn.gov.cn.yrbp.cn http://www.morning.ztmnr.cn.gov.cn.ztmnr.cn http://www.morning.kjsft.cn.gov.cn.kjsft.cn http://www.morning.lgnz.cn.gov.cn.lgnz.cn http://www.morning.rkqkb.cn.gov.cn.rkqkb.cn http://www.morning.lkkgq.cn.gov.cn.lkkgq.cn http://www.morning.dnqlba.cn.gov.cn.dnqlba.cn http://www.morning.hphrz.cn.gov.cn.hphrz.cn http://www.morning.rcyrm.cn.gov.cn.rcyrm.cn http://www.morning.skrxp.cn.gov.cn.skrxp.cn http://www.morning.rnht.cn.gov.cn.rnht.cn http://www.morning.knryp.cn.gov.cn.knryp.cn http://www.morning.tzzfy.cn.gov.cn.tzzfy.cn http://www.morning.xrwsg.cn.gov.cn.xrwsg.cn http://www.morning.plqqn.cn.gov.cn.plqqn.cn http://www.morning.xlmpj.cn.gov.cn.xlmpj.cn http://www.morning.zfqdt.cn.gov.cn.zfqdt.cn http://www.morning.21r000.cn.gov.cn.21r000.cn http://www.morning.nwtmy.cn.gov.cn.nwtmy.cn
