招商加盟网站模板html,品牌策划大赛作品,淘宝联盟的网站怎么做,建设企业网站的需求分析Gartner 预测#xff0c;网络安全正在进入 AI 动荡时期。安全和风险管理领导者必须根据早期生成式 AI 部署的失败以及 AI 代理清洗来评估即将到来的 AI 进展。 主要发现 随着各大企业开展大量人工智能采用和开发项目#xff0c;应用安全弱点的暴露程度不断提高#xff0c;包…Gartner 预测网络安全正在进入 AI 动荡时期。安全和风险管理领导者必须根据早期生成式 AI 部署的失败以及 AI 代理清洗来评估即将到来的 AI 进展。 主要发现 随着各大企业开展大量人工智能采用和开发项目应用安全弱点的暴露程度不断提高包括人工智能管道软件组件库存不足为攻击者创造了新的攻击面。 早期生成式人工智能 (GenAI) 实验的挫折削弱了安全团队对 GenAI 潜力的信心有可能导致忽视未来网络安全领域的人工智能创新。 组织继续生活在潜在的人工智能增强威胁的阴影之下欺诈内容的生成正在大规模发生虚假语音和深度伪造攻击成为强大的攻击媒介。 随着围绕对话式人工智能助手的狂热炒作逐渐平息网络安全行业必须为供应商对基于人工智能代理的自动化技术的大力推动做好准备。 建议
安全和风险管理领导者应该 审查现有的应用程序安全实践以处理传统的攻击面同时检查开发生命周期中的新步骤和人工智能软件供应链中的新组件。 通过将小规模实验与对人工智能增强对安全团队的益处的持续评估相结合优先考虑结果驱动的人工智能计划而不是不明确、范围不广和难以衡量的转型计划。 通过重新评估通信渠道和凭证安全性来预测新一波的帐户接管攻击特别是在半自动化和即将推出的 AI 代理架构中。 保持人工智能威胁情报功能并针对观察到的有害深度伪造攻击调整其防御能力从而为潜在的新威胁做好准备而不必惊慌。 战略规划假设 2025 年对软件供应链和基础设施技术堆栈的毒化将占企业使用的人工智能恶意攻击的 70% 以上。 到 2027 年网络安全领域 90% 的成功人工智能实施将是战术性的任务自动化和流程增强而不是角色替代。 到 2027 年人工智能代理将进一步自动化凭证窃取和破坏身份验证通信渠道将利用账户暴露所需的时间缩短 50% 。 到 2028 年40% 的社会工程攻击将不仅针对高管还将利用深度伪造和其他伪造现实技术针对更广泛的劳动力。 分析
需要知道什么
ChatGPT 发布两年多后GenAI 对安全领导者的影响是实实在在的。它改变了网络安全路线图颠覆了现有计划迫使安全领导者迅速踏上确保采用 AI 并在网络安全领域进行 AI 试验的旅程。经过数月的过高期望和真正的紧迫感安全领导者学会了如何 更好地评估可以改善其网络安全计划的 GenAI 功能 采取结构化的方法来保护其组织的 AI 计划。 随着人工智能的炒作安全和风险管理领域人工智能的早期采用者经历了幻灭期现在正转向更具战术性的人工智能实施这更有可能取得成功。因此对未来人工智能影响的预测成为安全活动的一部分。 但 Gartner 认为这段平静期只是暂时的新一轮动荡可能来自新兴的 AI应用部署形式。这些可能包括 AI 代理、企业和网络安全提供商的新一轮网络安全承诺甚至攻击者利用 GenAI 迫使安全团队经历一系列新的破坏。这项研究侧重于AI 领域的关键发展对安全计划的潜在影响。 战略规划假设 2025 年软件供应链和基础设施技术堆栈的中毒将占企业使用的人工智能恶意攻击的 70% 以上。 主要发现 黑客通常将大部分攻击集中在基础设施和供应链层面除非他们瞄准的是特定目标。这样可以用最少的精力产生最大的影响。 开源模型和数据科学软件如 Jupyter Notebook 或 Python 库是新的 AI 攻击媒介。 并非所有传统应用程序安全工具都已发展到能够集成针对人工智能实体的漏洞扫描这使得企业面临员工仅拥有有限工具来保护人工智能应用程序采用的风险。 Gartner 收到来自客户的反馈表明存在开源模型中毒的证据而专门的 AI 安全供应商在客户站点定期对开源模型进行扫描报告称多达 1% 的开源模型感染了恶意软件。此外在客户站点还发现了数千台受感染的数据科学笔记本。 黑客还可以利用用户对数据管道的错误配置将敏感信息窃取到犯罪服务器。攻击者发现攻击数据管道比一次攻击一个运行时事务更有成效。 市场影响 更多的AI模型市场将包括对下载的第三方和开源模型的安全模型扫描。 企业安全团队将越来越多地使用专门的人工智能安全供应商来扫描数据科学软件如笔记本和机器学习ML管道以及已部署的人工智能应用程序堆栈中的漏洞。 由于保护人工智能交互和企业数据安全的需要机密计算、数据管道深度检查和其他工作负载强化技术等基础设施技术解决方案将得到更广泛的应用。 建议 首先为 AI 应用程序构建强大的发现和盘点流程。然后确定可轻松应用于正在进行的 AI 项目的现有应用程序最佳实践。 启动人工智能应用的软件组成分析和漏洞评估程序。不要以为现有的基础设施安全和漏洞扫描工具能够正确处理人工智能组件。 使用包含信任、风险和安全管理 (TRiSM) 堆栈的所有层的分层方法来保护您的 AI 交互并确保您的企业将重点从运行时向量扩展到软件供应链和基础设施堆栈。 部署 AI 治理工具持续评估并确保所有 AI 资产尤其是软件供应链中的资产的安全态势。 升级或部署基础设施安全功能以保护您的工作负载免受恶意渗透或泄露例如机密计算和数据管道的深度检查。 战略规划假设到 2027 年网络安全领域 90% 的成功人工智能实施将是战术性的任务自动化和流程增强而不是角色替代。 主要发现 随着人工智能代理在 2025 年达到炒作高峰许多初创公司和网络安全平台声称可以实现整个工作流程的自动化。 安全和风险管理领导者对 GenAI的潜力持谨慎乐观态度其中只有12% 已经取得了可衡量的成果。 尽管投入了大量资金并取得了进展但 GenAI 技术在协调代理工作流程方面的整体成熟度仍然较低并且一些基本限制尚未解决。 安全和风险管理领导者接受了 GenAI 的进步测试和评估网络安全 AI 助手并为 AI 信任、风险和安全管理 (AI TRiSM) 计划做出贡献以确保利用 AI 的新业务项目。在这两种情况下网络安全领域的一个 GenAI 悖论是广泛采用和大量资源投入导致可衡量的成功有限但并未导致对该方法的明显反对。 人们持续热衷的原因之一是GenAI 为更具容错能力的工作流程例如事件分析或漏洞优先级排序开辟了自动化的可能性。根据2024 年 Gartner 设计和构建现代安全运营调查只有 34%的受访者表示他们的组织已经实施了自动化漏洞优先级排序流程。这种需求是存在的。软件开发人员工具已经提供了由AI生成的自动修复程序例如 GitHub Advanced Security。然而网络安全行业应该更好地抵御全面自动化和人员替换的必然承诺。在 Gartner 的2024 年生成式 AI 炒作周期中自主代理正在接近膨胀预期的峰值但需要 5 到 10 年的时间才能达到稳定期。安全和风险管理领导者长期以来一直承诺实现全面自动化特别是在威胁检测和响应方面。过去他们迷恋于神话般的完美解决方案但在购买后才发现虽然实现了检测但响应功能有限这是因为不可避免的误报和对业务中断的低容忍度。 市场影响 致力于人工智能素养建设的安全团队将倡导更狭窄的人工智能实施并强调需要根据定性和定量指标进行适当的人工监督。 专注于更具战术性的实施和自动化的关键任务这些任务的好处是可以立即观察到的或更容易修复的从而带来更好的结果并更明智地投资资源。战术实施还使团队能够将商业工具与私人托管模型混合从而开辟新的用例和更加个性化的实施。 成功的安全团队在尝试保护 AI 应用时也会从网络安全实验中汲取灵感。他们将逐步整合特定于 AI 的要求和技术同时与 AI 领域的同行合作确保全面采用 AI TRiSM 原则。 供应商将继续声称他们的产品可以实现完全的角色替代通常会推动行业朝着正确的方向发展但短期内无法展示出可普遍推广和可衡量的人类级质量要求的结果。 从长远来看企业期望和供应商承诺将会集中在少数几个选定的用例上而通过专注于任务增强来预测这些用例的团队将取得更好的结果。 建议 鼓励对最新技术和大胆宣称的初创企业进行有分寸的实验但要求进行可见和可衡量的绩效评估。 继续在您的团队中建设 AI 素养以设定切合实际的期望并为 AI 代理开发强大的评估框架。 将定期人工验证整合为半自动化工作流程的一部分以保障关键技能。在测试期间实施人工样品验证并在生产中维护一次。 通过扩展试点和严格的代理监控确定每个用例的自主性和控制性之间的适当平衡。对员工进行代理交互和调试方面的培训。 战略规划假设到 2027 年人工智能代理将进一步自动化凭证窃取和身份验证通信渠道的破坏以将利用账户漏洞的时间缩短 50%。 主要发现 账户接管 (ATO) 仍然是一个持续的攻击媒介。弱身份验证凭据例如密码通过各种手段数据泄露、网络钓鱼、社交工程、恶意软件收集。然后攻击者利用机器人自动对各种服务进行大量登录尝试希望这些凭据在多个平台上重复使用。 使用带外通信通道的多因素身份验证 ( MFA) 方法也容易受到攻击。这些攻击包括捕获通过短信或电子邮件发送的一次性密码( OTP) 或推送轰炸攻击在这种攻击中用户会收到大量移动推送提示直到他们屈服。 人工智能代理将使 ATO 杀伤链中更多步骤实现自动化从基于深度伪造声音的社会工程到用户凭证滥用的端到端自动化。 尽管大多数访问管理工具和一些大型消费者服务提供商现在都支持 FIDO2 密钥但大多数最终用户组织和最终用户本身的采用进展缓慢。预计在可预见的未来密码等传统凭证仍将持续存在。 市场影响 弱身份验证方法例如密码容易受到越来越多使用人工智能代理的自动化攻击这将进一步加速向防网络钓鱼身份验证方法的转变。针对以下类型的成功攻击将会增加
o 密码、基于 AI 代理或其他方式导致更广泛地采用传统 MFA 技术即在现有密码中添加额外因素以减轻部分风险并推动无密码 MFA 的采用。
o 主流 MFA 方法推动采用 FIDO2 或 X.509 等防网络钓鱼 MFA。攻击示例包括中间人攻击 [ AITM ] 和针对主流 MFA 方法例如无密码移动推送的推送轰炸 工具和技术将会不断发展以促进对合法人工智能代理的检测可能包括规定这些人工智能代理如何识别和验证与其交互的应用程序的新标准。 与当今的机器人检测市场类似供应商将推出跨不同交互模式的产品例如网络、应用程序、API 和语音渠道以检测、监控和分类涉及人工智能代理的交互。 与当今提供恶意软件和漏洞利用工具的非法市场类似恶意行为者将创建几乎不需要技术专业知识即可部署的 ATO AI 代理。其中许多将包含提示和指令这些提示和指令可以提供给非为非法用途而设计的商用 AI 代理。 建议 面对不断演变的人工智能威胁加快向无密码防网络钓鱼 MFA 例如FIDO2 设备绑定密钥迈进。对于用户可能选择身份验证选项的客户用例教育并激励用户在适当的情况下从密码迁移到多设备密钥或在需要 MFA 时迁移到设备绑定密钥例如为了满足 PSD2 强客户身份验证要求。 如果您无法摆脱某些应用程序的密码请确保强制使用额外的强身份验证因素例如具有数字匹配等补偿控制的移动推送应用程序。 随着 AI 代理检测的出现请将其作为风险/信任信号添加到您的整体 ATO 预防框架中。但是要小心不要过度依赖任何受攻击者和防御者在深度伪造和 AI 代理检测等领域的军备竞赛起伏影响的信号。 战略规划假设到 2028 年40% 的社会工程攻击不仅会针对高管还会利用深度伪造和其他伪造现实技术针对更广泛的劳动力。 主要发现 技术支持的社会工程学仍然是一种普遍且有问题的攻击媒介。其在攻击中的使用持续增加对企业网络安全构成持续风险。 攻击者将社会工程学与伪造现实技术相结合例如在与员工通话时使用深度伪造音频或视频。有少数利用深度伪造攻击组织的高调案例被报道这些案例表明这种威胁是可信的并导致受害组织遭受重大财务损失。 深度伪造检测技术尚处于萌芽阶段且正在不断发展。由于通信的实时性以及可以使用的多种平台例如电话、WhatsApp 、FaceTime 、Teams 、Zoom将 Deepfake 检测技术应用于人与人之间的语音和视频通话的各种攻击面尤其具有挑战性。 市场影响 专注于安全教育的供应商将扩大其产品范围包括针对使用伪造现实技术如深度伪造的社会工程攻击的内容。同样渗透测试供应商也将扩大其职权范围将此类攻击纳入其中。 监管机构和网络安全保险公司将开始要求对特定的高风险行为例如大额、非例行资金转移或授予特权系统访问权限进行最低级别的身份验证和认证。 实时深度伪造检测将是概率性的因此从本质上讲其使用可能被视为值得怀疑。谁对任何未识别的深度伪造和攻击负责的问题也将妨碍自动检测。此外由于攻击面随着许多通信渠道例如电话、WhatsApp 通话、Zoom 通话而扩大即使在某些渠道中实施了深度伪造检测也会使其他渠道不受保护从而使攻击者转而关注。 组织将调整程序和工作流程以更好地抵御利用伪造现实技术的攻击。敏感会议例如董事会或高管层会议可能会恢复面对面会议。 建议 通过针对深度伪造的社会工程学进行专门的培训让员工了解这些威胁但不要主要依赖员工检测深度伪造的能力。 对于被视为中等风险的场景实施带外验证流程。例如使用另一个平台上的消息来确认指令。 尽可能实施电话回拨政策负责敏感工作流程的员工在收到初始入站请求后必须进行电话回拨。 对于被视为高风险的场景除了回拨策略之外还要强化业务流程。消除任何单一通信可能触发严重有害行为的风险。例如如果一个自称是 CFO 的呼叫者指示进行大额资金转移那么在没有 CFO 首先在受 MFA 强访问控制管理的财务应用程序中授权的情况下该指令在系统上不可能完成。 谨慎依赖两个用户执行操作。虽然这通常被认为是一种防御措施但两个用户都可能成为深度伪造社交工程攻击的目标。在采用此方法时请将此方法与上述其他检查相结合。 密切关注音频和视频通话中实时深度伪造检测的市场动态。该技术尚处于起步阶段目前和长期来看能够带来多少价值尚不确定。通过添加设备标识符等确定性信号对其进行补充。
