开发网站如何选需要,wordpress弹窗注册,擦彩网站开发,镇江网站建设介绍服务在当今这个云计算技术迅猛发展的时代#xff0c;企业面临着前所未有的挑战与机遇。随着云基础设施的日益复杂化#xff0c;它们成为了企业运营不可或缺的支柱。网站可靠性工程师#xff08;Site Reliability Engineers#xff0c;简称SRE#xff09;和DevOps团队肩负着关键… 在当今这个云计算技术迅猛发展的时代企业面临着前所未有的挑战与机遇。随着云基础设施的日益复杂化它们成为了企业运营不可或缺的支柱。网站可靠性工程师Site Reliability Engineers简称SRE和DevOps团队肩负着关键任务即管理和维护系统的稳定性这包括故障的检测、诊断和缓解。特别是在微服务和无服务器架构成为主流的今天这些任务的难度和复杂性都在不断上升。这些架构虽然提升了系统的可扩展性但同时也可能带来新的故障点比如在亚马逊的AWS云平台上仅仅一小时的服务中断就可能造成巨大的经济损失。 为了应对这些挑战微软的研究人员和加州大学伯克利分校、伊利诺伊大学香槟分校、印度科学研究所以及Agnes Scott学院的团队一起开发了AIOpsLab。这个框架就是为了让AIOps代理的设计、开发和提升变得更加系统化。AIOpsLab的目标是提供可复制、标准化、可扩展的基准。它的核心功能包括整合现实世界的工作负载、故障注入能力还有代理和云环境之间的接口这样就能模拟出类似生产环境的场景。这个开源框架覆盖了云运营的整个生命周期从故障检测到解决一应俱全。通过提供模块化、可适应的平台AIOpsLab帮助研究人员和实践者提升云系统的可靠性减少对手动干预的依赖。 图 1AIOpsLab 的系统架构 如图1所示协调器Orchestrator就像是系统元素之间的协调者也是代理和云之间的接口Agent-Cloud-InterfaceACI。代理通过协调器来解决问题接收问题描述、指令和相关API。协调器用工作负载Workload和故障Fault生成器来制造各种问题然后注入到它能部署的应用中。部署的服务在多个层面都能被观察到提供遥测数据、追踪和日志。协调器用Kubernetes、Helm甚至Shell这些工具和服务、云进行沟通。代理通过协调器来行动协调器执行它们并更新服务的状态。最后协调器用预定义的指标来评估解决方案。
技术细节和优势 AIOpsLab框架有几个关键组件。协调器是一个核心模块它通过提供任务描述、动作API和反馈来协调代理和云环境之间的互动。故障和工作负载生成器模拟现实世界的条件来考验被测试的代理。可观察性是框架的另一个基石它提供全面的遥测数据比如日志、指标和跟踪帮助诊断故障。这种设计很灵活可以和多种架构集成包括Kubernetes和微服务。AIOpsLab通过标准化AIOps工具的评估确保了测试环境的一致性和可复制性。它还为研究人员提供了关于代理性能的宝贵信息让故障定位和解决能力能持续提升。
结果和洞见 在一个案例研究中研究人员用DeathStarBench的SocialNetwork应用程序来测试AIOpsLab的能力。他们设置了一个真实的故障——微服务配置错误——然后测试了一个基于LLM的代理这个代理用的是GPT-4驱动的ReAct框架。代理在36秒内就识别并解决了问题这显示了框架在模拟现实世界条件方面的有效性。详细的遥测数据对于找出问题的根本原因非常关键而协调器的API设计帮助代理在探索性和针对性行动之间找到了平衡。这些发现都强调了AIOpsLab作为一个强大基准的潜力它能帮助评估和提升AIOps代理。
安装和设置选项
AIOpsLab提供了灵活的设置选项适应不同的用户环境。根据您现在的设置您可以选择以下路径之一 使用已有的带有Kubernetes集群的虚拟机 您可以用下面的命令来克隆仓库。我们推荐用poetry来管理依赖您也可以用标准的pip install -e .来安装包。
$ git clone CLONE_PATH_TO_THE_REPO
$ cd AIOpsLab
$ pip install poetry
$ poetry install -vvv
$ poetry shell在现有的虚拟机上设置Kubernetes 您还需要一个运行中的Kubernetesk8s集群作为前提。您可以参照官方的 k8s 安装(https://github.com/microsoft/AIOpsLab/blob/main/scripts/kube_install.sh)它会直接在服务器上安装k8s注意这只是一个安装示例不是可执行脚本您可能需要根据您的情况修改一些部分比如脚本中的节点名称和证书哈希。之后运行
$ cd scripts
$ ./setup.sh $(hostname) # 或者 YOUR_NODE_NAME在云上配置虚拟机和Kubernetes 用户可以在公有云比如Azure上创建一个双节点Kubernetes集群。这也可以作为创建更复杂部署或在其他云上部署的起点。
快速开始
作为代理的人类
$ python3 cli.py
(aiopslab) $ start misconfig_app_hotel_res-detection-1 # 或者选择任何您想要解决的问题
# ...等待设置...
(aiopslab) $ submit(Yes) # 提交解决方案运行GPT-4基线代理
$ export OPENAI_API_KEYYOUR_OPENAI_API_KEY
$ python3 clients/gpt.py # 您也可以在脚本中更改要解决的问题您可以用k9s或其他集群监控工具方便地检查集群的状态。
使用方法
AIOpsLab可以这样用 把您的代理接入AIOpsLab 向AIOpsLab添加新应用 向AIOpsLab添加新问题
如何把您的代理接入AIOpsLab
AIOpsLab让开发和评估您的代理变得特别简单。您只需要3个简单的步骤就能把您的代理接入AIOpsLab 创建您的代理您可以自由地用任何您喜欢的框架来开发代理。唯一的要求是 把您的代理包装在一个Python类中比如叫Agent 在类中添加一个异步方法get_action
# 根据当前状态并返回代理的行动
async def get_action(self, state: str) - str:# 您的代理逻辑在这里把您的代理注册到AIOpsLab现在您可以把代理注册到AIOpsLab的协调器中。协调器会管理您的代理和环境之间的互动
from aiopslab.orchestrator import Orchestratoragent Agent() # 创建您的代理实例
orch Orchestrator() # 获取AIOpsLab的协调器
orch.register_agent(agent) # 把您的代理注册到AIOpsLab在问题上评估您的代理 初始化问题AIOpsLab提供了一些问题您可以在这些问题上评估您的代理。在这里找到可用问题列表或者用orch.probs.get_problem_ids()。现在通过它的ID来初始化一个问题
problem_desc, instructs, apis orch.init_problem(k8s_target_port-misconfig-mitigation-1)设置代理上下文用问题描述、指令和可用的API来为您的代理设置上下文。这一步取决于您的代理设计留给用户自己来 开始问题通过调用start_problem方法来开始问题。您也可以指定最大步数
import asyncio
asyncio.run(orch.start_problem(max_steps30))这个过程会创建一个和协调器的Session在这个Session里代理会解决问题。协调器会评估您的代理的解决方案并提供结果存储在data/results/下。您可以用这些结果来改进您的代理。
如何向AIOpsLab添加新应用
AIOpsLab提供了一个默认的应用列表用来评估代理的操作任务。但是作为开发者您可以向AIOpsLab添加新应用并围绕它们设计问题。
要用Helm向AIOpsLab添加新应用您需要 添加应用元数据 应用元数据是一个描述应用的JSON对象。 包括任何字段比如应用的名字、描述、命名空间等等。 我们建议还包括一个特别的Helm Config字段如下
Helm Config: {release_name: 部署Helm版本名称,chart_path: 应用Helm图表的路径,namespace: 应用应该部署的K8S命名空间
}Helm Config被协调器用来在与应用相关的问题开始时自动部署您的应用。 协调器会自动提供所有其他字段作为上下文给代理用于与此应用相关的任何问题。
创建一个包含这个元数据的JSON文件并保存在metadata目录中。比如social-network应用social-network.json 添加应用类
在apps目录中的新Python文件里扩展基类
from aiopslab.service.apps.base import Applicationclass MyApp(Application):def __init__(self):super().__init__(path to app metadata JSON)Application类为应用提供了基础实现。您可以根据需要覆盖方法并添加新的方法以适应您的应用需求但基类应该足以满足大多数应用。
如何向AIOpsLab添加新问题
和应用类似AIOpsLab提供了一个默认的问题列表来评估代理。但是作为开发者您可以向AIOpsLab添加新问题并围绕您的应用设计它们。
AIOpsLab中的每个问题都有5个组件 应用问题所基于的应用。 任务代理需要执行的AIOps任务。目前我们支持检测、定位、分析和缓解。 故障在应用中引入的故障。 工作负载为应用生成的工作负载。 评估器检查代理性能的评估器。
要向AIOpsLab添加新问题请在problems目录中创建一个新的Python文件如下 设置。导入您选择的应用比如MyApp和任务比如LocalizationTask
from aiopslab.service.apps.myapp import MyApp
from aiopslab.orchestrator.tasks.localization import LocalizationTask定义。要定义一个问题创建一个从您选择的Task继承的类并定义3个方法start_workload、inject_fault和eval
class MyProblem(LocalizationTask):def __init__(self):self.app MyApp()def start_workload(self):# 您的工作负载逻辑在这里def inject_fault(self)# 您的故障注入逻辑在这里def eval(self, soln, trace, duration):# 您的评估逻辑在这里注册。最后把您的问题添加到协调器的注册表中。 start_workload启动应用的工作负载。使用您自己的生成器或者AIOpsLab的默认生成器后者基于wrk2
from aiopslab.generator.workload.wrk import Wrkwrk Wrk(rate100, duration10)
wrk.start_workload(payloadwrk payload script, urlapp URL)inject_fault向应用引入故障。使用您自己的注入器或者AIOpsLab的内置注入器您也可以扩展它。比如K8S层的配置错误
from aiopslab.generators.fault.inject_virtual import *inj VirtualizationFaultInjector(testbednamespace)
inj.inject_fault(microservices[service-name], fault_typemisconfig)eval用3个参数评估代理的解决方案(1) soln代理提交的解决方案如果有(2) trace代理的行动轨迹和(3) duration代理所花费的时间。
在这里您可以使用每个任务的内置默认评估器和/或添加自定义评估。结果存储在self.results中
def eval(self, soln, trace, duration) - dict:super().eval(soln, trace, duration) # 默认评估self.add_result(myMetric, my_metric(...)) # 添加自定义指标return self.results注意当代理开始一个问题时协调器会创建一个Session对象存储代理的交互。trace参数是这个会话的记录轨迹。 结论
AIOpsLab为推进自动化云运营提供了一个深思熟虑的方法。它通过解决现有工具的不足并提供一个可复制和现实的评估框架来支持可靠和高效的AIOps代理的持续发展。AIOpsLab的开源特性鼓励了研究人员和实践者之间的合作和创新。随着云系统的规模和复杂性的增长像AIOpsLab这样的框架将变得越来越重要它们是确保运营可靠性和推进AI在IT运营中角色的关键。
详见论文https://arxiv.org/pdf/2407.12165
github: https://github.com/microsoft/AIOpsLab/?tabreadme-ov-file
文章转载自： http://www.morning.wqmyh.cn.gov.cn.wqmyh.cn http://www.morning.dtrcl.cn.gov.cn.dtrcl.cn http://www.morning.ftync.cn.gov.cn.ftync.cn http://www.morning.zstbc.cn.gov.cn.zstbc.cn http://www.morning.rzscb.cn.gov.cn.rzscb.cn http://www.morning.jqrhz.cn.gov.cn.jqrhz.cn http://www.morning.qbtkg.cn.gov.cn.qbtkg.cn http://www.morning.wwwghs.com.gov.cn.wwwghs.com http://www.morning.qzpqp.cn.gov.cn.qzpqp.cn http://www.morning.ltspm.cn.gov.cn.ltspm.cn http://www.morning.rxgnn.cn.gov.cn.rxgnn.cn http://www.morning.dbnpz.cn.gov.cn.dbnpz.cn http://www.morning.bnxfj.cn.gov.cn.bnxfj.cn http://www.morning.xhxsr.cn.gov.cn.xhxsr.cn http://www.morning.qmnhw.cn.gov.cn.qmnhw.cn http://www.morning.qwbls.cn.gov.cn.qwbls.cn http://www.morning.clbsd.cn.gov.cn.clbsd.cn http://www.morning.cykqb.cn.gov.cn.cykqb.cn http://www.morning.pdmml.cn.gov.cn.pdmml.cn http://www.morning.nflpk.cn.gov.cn.nflpk.cn http://www.morning.jxzfg.cn.gov.cn.jxzfg.cn http://www.morning.ryztl.cn.gov.cn.ryztl.cn http://www.morning.mtrfz.cn.gov.cn.mtrfz.cn http://www.morning.ywndg.cn.gov.cn.ywndg.cn http://www.morning.mypxm.com.gov.cn.mypxm.com http://www.morning.tsyny.cn.gov.cn.tsyny.cn http://www.morning.hnhsym.cn.gov.cn.hnhsym.cn http://www.morning.djxnn.cn.gov.cn.djxnn.cn http://www.morning.txysr.cn.gov.cn.txysr.cn http://www.morning.pqktp.cn.gov.cn.pqktp.cn http://www.morning.sqtsl.cn.gov.cn.sqtsl.cn http://www.morning.kkqgf.cn.gov.cn.kkqgf.cn http://www.morning.hxlpm.cn.gov.cn.hxlpm.cn http://www.morning.hqpyt.cn.gov.cn.hqpyt.cn http://www.morning.yodajy.cn.gov.cn.yodajy.cn http://www.morning.ryrpq.cn.gov.cn.ryrpq.cn http://www.morning.c7627.cn.gov.cn.c7627.cn http://www.morning.wmqxt.cn.gov.cn.wmqxt.cn http://www.morning.ztnmc.cn.gov.cn.ztnmc.cn http://www.morning.wjzzh.cn.gov.cn.wjzzh.cn http://www.morning.cpkcq.cn.gov.cn.cpkcq.cn http://www.morning.kzbpx.cn.gov.cn.kzbpx.cn http://www.morning.trqzk.cn.gov.cn.trqzk.cn http://www.morning.ttfh.cn.gov.cn.ttfh.cn http://www.morning.tpqrc.cn.gov.cn.tpqrc.cn http://www.morning.nqpxs.cn.gov.cn.nqpxs.cn http://www.morning.zqsnj.cn.gov.cn.zqsnj.cn http://www.morning.rqlqd.cn.gov.cn.rqlqd.cn http://www.morning.rjrh.cn.gov.cn.rjrh.cn http://www.morning.mlpch.cn.gov.cn.mlpch.cn http://www.morning.qpmmg.cn.gov.cn.qpmmg.cn http://www.morning.nlwrg.cn.gov.cn.nlwrg.cn http://www.morning.tyklz.cn.gov.cn.tyklz.cn http://www.morning.ljzqb.cn.gov.cn.ljzqb.cn http://www.morning.knqck.cn.gov.cn.knqck.cn http://www.morning.pfcrq.cn.gov.cn.pfcrq.cn http://www.morning.lrwsk.cn.gov.cn.lrwsk.cn http://www.morning.rbjp.cn.gov.cn.rbjp.cn http://www.morning.snbry.cn.gov.cn.snbry.cn http://www.morning.rylr.cn.gov.cn.rylr.cn http://www.morning.fdrb.cn.gov.cn.fdrb.cn http://www.morning.rtzd.cn.gov.cn.rtzd.cn http://www.morning.twdwy.cn.gov.cn.twdwy.cn http://www.morning.qdzqf.cn.gov.cn.qdzqf.cn http://www.morning.jkcpl.cn.gov.cn.jkcpl.cn http://www.morning.mbnhr.cn.gov.cn.mbnhr.cn http://www.morning.trqzk.cn.gov.cn.trqzk.cn http://www.morning.qnwyf.cn.gov.cn.qnwyf.cn http://www.morning.nlnmy.cn.gov.cn.nlnmy.cn http://www.morning.fbpdp.cn.gov.cn.fbpdp.cn http://www.morning.rtlth.cn.gov.cn.rtlth.cn http://www.morning.ysbhj.cn.gov.cn.ysbhj.cn http://www.morning.yqkxr.cn.gov.cn.yqkxr.cn http://www.morning.jcwrb.cn.gov.cn.jcwrb.cn http://www.morning.spbp.cn.gov.cn.spbp.cn http://www.morning.zsrdp.cn.gov.cn.zsrdp.cn http://www.morning.mnkhk.cn.gov.cn.mnkhk.cn http://www.morning.rbkdg.cn.gov.cn.rbkdg.cn http://www.morning.nrgdc.cn.gov.cn.nrgdc.cn http://www.morning.zmyzt.cn.gov.cn.zmyzt.cn
