和平苏州网站建设,wordpress评论 是哪个页面,seo公司是怎么做的,郑州锐途网站建设作者#xff1a;来自 Elastic Hemendra Singh Lodhi 了解将数据从 AWS S3 提取到 Elastic Cloud 的不同选项。
这是多部分博客系列的第二部分#xff0c;探讨了将数据从 AWS S3 提取到 Elastic Cloud 的不同选项。
在本博客中#xff0c;我们将了解如何使用 Elastic Agent…作者来自 Elastic Hemendra Singh Lodhi 了解将数据从 AWS S3 提取到 Elastic Cloud 的不同选项。
这是多部分博客系列的第二部分探讨了将数据从 AWS S3 提取到 Elastic Cloud 的不同选项。
在本博客中我们将了解如何使用 Elastic Agent 从 AWS S3 提取数据。 注 1请查看第 1 部分中的不同选项比较Elastic Serverless Forwarder注 2Elastic Cloud 部署是遵循下述步骤的先决条件。 Elastic Cloud
查看博客系列第 1 部分Elastic Serverless Forwarder了解如何开始使用 Elastic Cloud。如果你已经有活跃的部署请跳过此部分。 Elastic Agent
从 AWS S3 提取数据的另一种选择是使用 Elastic Agent。Elastic Agent 是一种提取日志、指标等数据的单一、统一方法。Elastic Agent 安装在 EC2 等实例上使用集成可以连接到 AWS 服务如 S3并将数据转发到 Elasticsearch。
Elastic Agent 工作原理概述
创建类似于清单文件的策略包含代理说明。在策略中添加集成这些集成本质上是包含配置、映射、仪表板等资产的模块。代理安装时会遵循所需的策略。代理将根据集成执行提取操作。 功能
同时发送日志和指标支持通过 AWS PrivateLink 进行数据传输支持所有集成并且可以使用 Fleet 管理代理Elastic Cloud 默认提供需要安装和维护代理并且没有自动扩展。使用 Fleet 可以简化代理维护。开箱即用性能良好可以配置性能参数以使用性能预设。可以根据数据类型和提取要求使用预设。有关 Fleet 服务器可扩展性的更多信息请点击此处成本是用于 agent 安装和 SQS 通知的 EC2 实例 数据流
基于 Elastic 代理的数据提取的高级数据流 VPC 流日志配置为写入 S3 存储桶一旦日志写入 S3 存储桶S3 事件通知就会发送到 SQSElastic 代理轮询 SQS 队列以获取新消息。根据消息中的元数据它从 S3 存储桶读取日志数据并将其发送到 Elasticsearch建议使用 SQS 以提高性能以便代理可以只读取 S3 存储桶中新更新的对象而不是每次轮询整个存储桶 设置
对于步骤 (1)-(2)请按照第 1 部分Elastic Serverless Forwarder 中的详细信息进行操作
1创建 S3 Bucket 来存储 VPC 流日志
2启用 VPC 流日志并发送到上面创建的 S3 Bucket
3使用默认设置创建 SQS 队列 注意在与 S3 Bucket 相同的区域中创建 SQS 队列 提供队列名称 sqs-vpc-flow-logs-elastic-agent 并保留其他设置作为默认设置 更新 SQS 访问策略Advanced以允许 s3 存储桶向 SQS 队列发送通知。将 account-id 替换为你的 AWS 帐户 ID。保留其他选项的默认设置。
在这里我们指定 S3 从 S3 存储桶向 SQS 队列 (ARN) 发送消息 {Version: 2012-10-17,Id: example-ID,Statement: [{Sid: example-statement-ID,Effect: Allow,Principal: {Service: s3.amazonaws.com},Action: SQS:SendMessage,Resource: arn:aws:sqs:ap-southeast-2:account-id:sqs-vpc-flow-logs-elastic-agent,Condition: {StringEquals: {aws:SourceAccount: account-id},ArnLike: {aws:SourceArn: arn:aws:s3:::s3-vpc-flow-logs-elastic}}}]} 请记下队列设置下的详细信息中的 SQS URL 4在 S3 存储桶中启用 VPC 流日志事件通知
转到 S3 存储桶 s3-vpc-flow-logs-elastic - Properties 并创建事件通知
提供名称以及你想要触发 SQS 的事件类型。在将任何对象添加到存储桶时我们已 object create 选择目标为 SQS queue 并选择 sqs-vpc-flow-logs-elastic-agent 保存后配置将如下所示 确认 VPC 流日志已发布在 S3 存储桶中 确认 S3 事件通知已发送到 SQS 队列 5 在 EC2 实例上安装 Elastic Agent
启动 EC2 实例
要获取安装命令请转到
Kibana - Fleet - Add Agent 创建新的代理策略 aws-vpc-flow-logs-s3-policy 并单击 “Create Policy”。
创建策略后复制安装 Elastic Agent 的说明。其他设置保留默认设置 登录 EC2 实例并运行命令 [rootip-xxx-xx-xx-xxx ~]# curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.14.3-linux-x86_64.tar.gztar xzvf elastic-agent-8.14.3-linux-x86_64.tar.gzcd elastic-agent-8.14.3-linux-x86_64sudo ./elastic-agent install --urlhttps://xxxxxxxxxxx.fleet.ap-southeast-2.aws.found.io:443 --enrollment-token xxxxxxxxxxx% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed100 327M 100 327M 0 0 5068k 0 0:01:06 0:01:06 --:--:-- 5065kelastic-agent-8.14.3-linux-x86_64/manifest.yamlelastic-agent-8.14.3-linux-x86_64/data/elastic-agent-2df2c1/elastic-agent..........................Elastic Agent will be installed at /opt/Elastic/Agent and will run as a service. Do you want to continue? [Y/n]:Y[ ] Service Started [0s] Elastic Agent successfully installed, starting enrollment.[ ] Waiting For Enroll... [1s] {log.level:info,timestamp:2024-09-03T03:43:40.209Z,log.origin:{file.name:cmd/enroll_cmd.go,file.line:517},message:Starting enrollment to URL: https://xxxxxxxxxxx.fleet.ap-southeast-2.aws.found.io:443/,ecs.version:1.6.0}[ ] Waiting For Enroll... [2s] {log.level:info,timestamp:2024-09-03T03:43:41.396Z,log.origin:{file.name:cmd/enroll_cmd.go,file.line:480},message:Restarting agent daemon, attempt 0,ecs.version:1.6.0}[ ] Waiting For Enroll... [2s] {log.level:info,timestamp:2024-09-03T03:43:41.448Z,log.origin:{file.name:cmd/enroll_cmd.go,file.line:298},message:Successfully triggered restart on running Elastic Agent.,ecs.version:1.6.0}Successfully enrolled the Elastic Agent.[ ] Done [2s] Elastic Agent has been successfully installed.
成功完成后状态将在机队页面上更新 使用 aws 集成更新策略 aws-vpc-flow-logs-s3-policy。这会将 aws 集成配置推送到订阅此策略的代理。有关 fleet 和 agent 如何协同工作的更多信息请参见此处。
Kibana - Fleet - Agent policies.。选择策略 aws-vpc-flow-logs-s3-policy 并单击 Add integration。这将带你进入集成页面搜索 AWS 集成。如果你想监控多个 AWS 服务最好选择 AWS 集成 提供 AWS 访问密钥 ID 和秘密访问密钥进行身份验证并允许 Elastic Agent 从 AWS 服务读取。还有其他可用的身份验证选项。详情请见此处。命名空间选项用于根据环境或任何其他标识符隔离数据 关闭 other services 并使用 Collect VPC flow logs from S3。更新先前复制的 S3 存储桶和 SQS 队列 URL。保留 advance settings 作为默认设置
向下滚动并单击 Existing hosts 选项因为我们已经安装了代理并选择策略 aws-vpc-flow-logs-s3-policy。保存并继续。这会将配置的集成推送到 Elastic Agent 转到 Kibana - Fleet - Agent policies策略 aws-vpc-flow-logs-s3-policy 已使用 AWS 集成进行更新。
几分钟后你可以验证流日志是否已从 S3 提取到 Elastic。转到 Kibana - Discover 6在 Kibana 仪表板中监控 VPC 流日志
集成附带仪表板等资产这些资产是为常见用例预先构建的。转到 Kibana - Dashboard 并搜索 VPC Flow logs 更多仪表板
正如承诺的那样这里有一些仪表板它们可以帮助使用 Elastic 代理提取方法监控我们设置中使用的 AWS 服务。这将有助于跟踪使用情况并有助于优化。
我们将使用 Elastic Agent 数据提取选项中使用的相同设置来配置设置和填充仪表板。
转到 Kibana - Fleet - aws-vpc-flow-logs-s3-policy 。选择 AWS integration 并切换到所需的服务并填写详细信息。
一些有趣的仪表板 注意所有仪表板都可以在 Kibana-Analytics-Dashboards 下找到 [Metrics AWS] Lambda Overview
如果你已使用 Elastic Serverless Forwarder 实现提取则可以使用此仪表板跟踪 AWS Lambda 指标。它主要显示 Lambda 函数持续时间、错误和任何函数限制 [Metrics AWS] S3 Overview
此仪表板概述了 S3 的使用情况并有助于监控存储桶大小、对象数量等。通过跟踪陈旧的存储桶和对象这可以帮助优化 S3 的使用情况 [Logs AWS] S3 Server Access Log Overview
此仪表板显示 S3 服务器访问日志并提供对存储桶发出的请求的详细记录。这在安全和访问审计中很有用还有助于了解用户如何访问你的 S3 存储桶和对象 [Metrics AWS] Usage Overview
此仪表板显示 AWS 服务的一般使用情况并突出显示针对 AWS 服务的 API 使用情况。这有助于了解服务使用情况和潜在优化 [Metrics AWS] Billing Overview
该仪表板显示服务的计费使用情况并帮助监控服务花费了多少钱 [Metrics AWS] SQS Overview
此仪表板显示 SQS 队列利用率显示已发送、已接收的消息以及发送消息的任何延迟。这对于监控 SQS 队列是否存在任何问题非常重要因为它是架构中的一个重要组件。SQS 的任何问题都可能导致数据提取延迟 [Metrics AWS] EC2 Overview
如果你使用 Elastic 代理提取方法则可以监视托管 Elastic 代理的 EC2 实例的 CPU、内存、磁盘等的利用率这在流量负载较高时有助于确定实例的大小。这也可以用于你的其他 EC2 实例 [Elastic Agent] S3 Input Metrics
此仪表板显示了 Elastic 代理的详细利用率展示了 Elastic 代理如何处理 S3 输入以及监控与 SQS 和 S3 的交互。仪表板显示了 Elastic 代理在读取 SQS 消息和 S3 对象并将其转发到 Elasticsearch 时的聚合指标。结合 [Metrics AWS] EC2 Overview 仪表板这可以帮助了解 EC2 和 Elastic 代理的利用率并可能有助于扩展这些组件 结论
Elasticsearch 提供了多种选项可将数据从 AWS S3 同步到 Elasticsearch 部署中。在本演练中我们演示了实现 Elastic Agent 提取选项并利用 Elastic 业界领先的搜索功能相对容易。
在本系列的第 3 部分中我们将深入探讨使用 Elastic S3 Native Connector 作为提取 AWS S3 数据的另一种选择。
不要忘记查看本系列的第 1 部分Elastic Serverless Forwarder。 你可以使用来自任何来源的数据构建搜索。查看此网络研讨会以了解 Elasticsearch 支持的不同连接器和来源。
准备好自己尝试一下了吗开始免费试用。 原文How to ingest data from AWS S3 into Elastic Cloud - Part 2 : Elastic Agent - Search Labs 文章转载自： http://www.morning.qnksk.cn.gov.cn.qnksk.cn http://www.morning.txfxy.cn.gov.cn.txfxy.cn http://www.morning.rksg.cn.gov.cn.rksg.cn http://www.morning.pwmm.cn.gov.cn.pwmm.cn http://www.morning.lwcgh.cn.gov.cn.lwcgh.cn http://www.morning.nqxdg.cn.gov.cn.nqxdg.cn http://www.morning.nyzmm.cn.gov.cn.nyzmm.cn http://www.morning.tknqr.cn.gov.cn.tknqr.cn http://www.morning.rdpps.cn.gov.cn.rdpps.cn http://www.morning.zntf.cn.gov.cn.zntf.cn http://www.morning.bdsyu.cn.gov.cn.bdsyu.cn http://www.morning.lveyue.com.gov.cn.lveyue.com http://www.morning.mjctt.cn.gov.cn.mjctt.cn http://www.morning.mqmmc.cn.gov.cn.mqmmc.cn http://www.morning.mpxbl.cn.gov.cn.mpxbl.cn http://www.morning.tmzlt.cn.gov.cn.tmzlt.cn http://www.morning.nqlnd.cn.gov.cn.nqlnd.cn http://www.morning.jgmlb.cn.gov.cn.jgmlb.cn http://www.morning.mjtft.cn.gov.cn.mjtft.cn http://www.morning.21r000.cn.gov.cn.21r000.cn http://www.morning.pbzlh.cn.gov.cn.pbzlh.cn http://www.morning.ypzsk.cn.gov.cn.ypzsk.cn http://www.morning.sgwr.cn.gov.cn.sgwr.cn http://www.morning.qnpyz.cn.gov.cn.qnpyz.cn http://www.morning.yhdqq.cn.gov.cn.yhdqq.cn http://www.morning.pmhln.cn.gov.cn.pmhln.cn http://www.morning.xnkb.cn.gov.cn.xnkb.cn http://www.morning.wrtsm.cn.gov.cn.wrtsm.cn http://www.morning.pgjyc.cn.gov.cn.pgjyc.cn http://www.morning.czgfn.cn.gov.cn.czgfn.cn http://www.morning.byrlg.cn.gov.cn.byrlg.cn http://www.morning.rqnhf.cn.gov.cn.rqnhf.cn http://www.morning.wncb.cn.gov.cn.wncb.cn http://www.morning.xbnkm.cn.gov.cn.xbnkm.cn http://www.morning.qgmwt.cn.gov.cn.qgmwt.cn http://www.morning.fdmtr.cn.gov.cn.fdmtr.cn http://www.morning.kzxlc.cn.gov.cn.kzxlc.cn http://www.morning.gczqt.cn.gov.cn.gczqt.cn http://www.morning.yrck.cn.gov.cn.yrck.cn http://www.morning.piekr.com.gov.cn.piekr.com http://www.morning.gwyml.cn.gov.cn.gwyml.cn http://www.morning.tnbsh.cn.gov.cn.tnbsh.cn http://www.morning.cnkrd.cn.gov.cn.cnkrd.cn http://www.morning.mjdbd.cn.gov.cn.mjdbd.cn http://www.morning.mjkqj.cn.gov.cn.mjkqj.cn http://www.morning.bfhrj.cn.gov.cn.bfhrj.cn http://www.morning.cpmfp.cn.gov.cn.cpmfp.cn http://www.morning.qnlbb.cn.gov.cn.qnlbb.cn http://www.morning.yrbp.cn.gov.cn.yrbp.cn http://www.morning.hrdx.cn.gov.cn.hrdx.cn http://www.morning.mnslh.cn.gov.cn.mnslh.cn http://www.morning.hhfqk.cn.gov.cn.hhfqk.cn http://www.morning.tfqfm.cn.gov.cn.tfqfm.cn http://www.morning.mbfj.cn.gov.cn.mbfj.cn http://www.morning.gpsrk.cn.gov.cn.gpsrk.cn http://www.morning.nnwpz.cn.gov.cn.nnwpz.cn http://www.morning.tsnq.cn.gov.cn.tsnq.cn http://www.morning.nwljj.cn.gov.cn.nwljj.cn http://www.morning.mnwb.cn.gov.cn.mnwb.cn http://www.morning.ykwgl.cn.gov.cn.ykwgl.cn http://www.morning.nyplp.cn.gov.cn.nyplp.cn http://www.morning.nhlyl.cn.gov.cn.nhlyl.cn http://www.morning.hbkkc.cn.gov.cn.hbkkc.cn http://www.morning.fmkbk.cn.gov.cn.fmkbk.cn http://www.morning.lbgsh.cn.gov.cn.lbgsh.cn http://www.morning.ctlzf.cn.gov.cn.ctlzf.cn http://www.morning.mpgfk.cn.gov.cn.mpgfk.cn http://www.morning.qtyfb.cn.gov.cn.qtyfb.cn http://www.morning.ylklr.cn.gov.cn.ylklr.cn http://www.morning.zlrrj.cn.gov.cn.zlrrj.cn http://www.morning.xsrnr.cn.gov.cn.xsrnr.cn http://www.morning.nqpy.cn.gov.cn.nqpy.cn http://www.morning.rqmqr.cn.gov.cn.rqmqr.cn http://www.morning.drcnf.cn.gov.cn.drcnf.cn http://www.morning.ykrss.cn.gov.cn.ykrss.cn http://www.morning.rlksq.cn.gov.cn.rlksq.cn http://www.morning.qtzwh.cn.gov.cn.qtzwh.cn http://www.morning.hmxb.cn.gov.cn.hmxb.cn http://www.morning.tpyjr.cn.gov.cn.tpyjr.cn http://www.morning.dpsyr.cn.gov.cn.dpsyr.cn
