备案时网站关闭,广东电子商务网站,科技馆网站建设,网站建设相关图片传统的网络安全防护手段主要是通过单点的网络安全设备#xff0c;随着网络攻击的方式和手段不断的变化#xff0c;大数据和人工智能技术也在最近十年飞速地发展#xff0c;网络安全防护也逐渐开始拥抱大数据和人工智能。传统的安全设备和防护手段容易形成数据孤岛#xff0…传统的网络安全防护手段主要是通过单点的网络安全设备随着网络攻击的方式和手段不断的变化大数据和人工智能技术也在最近十年飞速地发展网络安全防护也逐渐开始拥抱大数据和人工智能。传统的安全设备和防护手段容易形成数据孤岛一种设备只能解决某一方面的问题基于已有特征进行匹配未将数据进行集中、组合和关联缺乏有效的上下文分析无法进行深度分析无法发现未知或隐蔽的威胁。通过大数据和人工智能的方法可以将各种网络安全相关的数据集中关联和分析这是网络安全分析的长期发展方向。 网络安全大数据这块也经历了很多年发展但是在工程实践中针对网络安全问题的防护还是存在很多欠缺的地方市场这块也集中在监管类的安全大数据产品运营类安全大数据市场需求偏少。结合自己对网络安全大数据的了解主要从几下几个方面谈谈自己的看法 ● 数据对接成本高 涉及到不同厂商、不同设备的数据对接缺乏统一的数据对接标准和规范都是历史遗留的问题不光是技术升级的成本还涉及到厂商设备升级的费用问题毕竟天下没有免费的午餐项目本身的协调成本大于技术维护成本。 ● 检测能力普遍不足 目前各大厂商对安全大数据的宣传是解决未知和隐蔽的高级可持续性威胁但是基于产品应用的情况来看很多远远满足不了这个宣传策略。那问题点在哪里了站在我思考的角度来看还是出在数据问题上目前接入的一些网络安全设备数据本质上还是接入的基于特征匹配的部分日志数据而基于主机、服务器、程序等实体对象操作行为数据和流量数据偏少。应当摒弃过渡依赖基于特征匹配的思路而应当从数据的选择上就要考虑需要基于原始行为和原始流量的数据进行分析避免部分特征匹配的数据成为分析的干扰源。 ● 业务理解程度不够 网络安全大数据产品目前主要还是以相关国家标准进行建设重点还是停留在合规监管层面产品研发更多地在按标准依葫芦画瓢以达到国家相关部门的测评为准则其实国家相关部门出的标准和测试都是基于单点的思路和规则没有从整体和全局的角度去系统性测试产品很多厂商为了应付测试也钻了空子。正常情况下应当是和相关部门、企业一起结合实际的网络安全防护场景进行研究以攻为守基于业务需求进行建模以满足实用实战为导向。 ● 系统和运营未有效结合 很多部门、企业建设了网络安全大数据相关的系统仅仅只停留在应付上级主管部门检查的层面没有很好利用系统没有专门的网络安全人员进行运营管理。就好比军工厂交付武器给军队如何将武器的作用发挥至最大化如何改进武器适应战场还得练兵备战与人的意志结合将武器效能最大化。安全大数据系统也一样必须有专业的网络安全人员进行运营和管理将系统的作用最大化提升安全大数据系统练兵备战的能力。 下面谈谈我的整个安全大数据框架和思路大致框架如下图所示 安全大数据总体过程包括数据采集、数据接入、数据预处理、数据存储、数据分析、结果展示各行各业大数据分析都是这个思路和流程只是需要处理的问题不一样我们面向的是网络安全大数据这块。 ● 数据采集数据来源 数据是基础必须接入更多的安全相关数据安全大数据一方面是要解决基于已知特征的数据分析更重要方面是要解决未知或隐蔽的威胁那就要弄清底层逻辑是什么。基于已知特征数据这块目前存在一个点就是不同厂商的安全设备的能力不一样无法从根本上规避它提供数据的准确性。那有一个重要的核心点就是需要什么样的数据从什么方面去挖掘和分析威胁任何事物都是运动的我们可以变化中寻求最优解网络威胁也一样。我们应当获取每个实体最原始的行为数据从动机和行为入手不能忽视最合适的数据源。 ● 数据接入 需要考虑的是多种数据源接入和时间同步问题为什么要考虑这个问题因为有些数据之间有相互关联多种数据在时间序列上来看就够成了一定的可疑数据块这就是全局与个体的关系威胁行为任何时刻都有可能发生能提前感知就能减少风险。很多厂商在做产品设计的时候忽略了数据接入的重要性。根据业务场景需求一定要弄清每种业务场景需要的数据源接入原则从时间、数据量上要周全考虑并不是所有业务场景所有的数据接入都是一致性要求这个必须要区别对待具体问题具体分析。 ● 数据预处理 需要对接入的数据进行批量、快速处理满足需求如何预处理数据这个需要考虑的点也是要根据业务场景来定义。通过逆向方式分析以结果为导向从数据分析和存储要求进行定义剔除干扰和多余数据减少数据分析时系统的开销。 ● 数据存储 采用基于开源的大数据技术框架每个公司的技术实现都大同小异重点需要考虑的是数据的写入和查询效率数据的备份恢复问题。 ● 数据分析 大数据分析的前提是要借助流式计算引擎目前主流厂商都是选择Flink。数据分析的前提是要有具体的业务场景再基于业务场景进行业务建模再根据业务模型确定采用什么技术方案实现业务需求。一般会从普通规则、动态基线、机器学习、深度学习等技术方法去实现通过普通规则去匹配也可以运用基线比较方法也可以使用机器学习和深度学习的方法进行异常行为分析。 下面重点讲一下机器学习和深度学习相关的数据分析方法。首先我们理清几个概念模型、算法、数据、训练程序的关系。 模型就是根据数据训练出来的一段程序针对某一业务场景需求系统程序调用模型输入数据得出分析结果。那模型一般如何训练了那就可以分为系统外训练和系统内训练了。 系统外训练就是与现有系统独立互不干涉有专门的训练环境模型训练好了导入现有系统升级进行使用再通过现有系统使用情况进行评估和反馈不断的在训练环境进行训练这样形成一个闭环反馈机制。 系统内训练就是基于现有系统数据进行训练模型训练好了系统程序直接进行调用差不多是个半自动化的过程同时网络安全运营人员也可以根据人为的经验和现有模型的结果不断的去分析和标记数据借助人的作用不断去强化训练这个模型这样系统就包括两部分功能一部分是业务使用一部分是基于现有业务数据在系统内不断训练模型不断地智能验证效果减少人为过多地干预这样安全运营人员和系统就深度绑定了因为安全大数据产品设计过程中要充分考虑和借助专业的网络安全人员来训练模型说个题外话网络安全人员不能脱离人工智能相关的技术。 算法是核心基于业务场景的分析解决客户什么问题考虑周全之后确定需要分析的数据源希望达到的预期效果选择合适的人工智能算法算法也不是可以解决所有问题它是根据不同的问题有对应的算法一旦确定了算法在训练过程中不能随便去变更算法那这样之前的训练就白废了。 数据是基础往往网络安全的数据问题是个难点很多场景很难找到合适的样本数据比如说客户提供一个新场景自己觉得可以用哪种算法来实现但是样本数据满足不了要求。对数据的整合和规范这个是网络安全采用人工智能学习的一个难点和未来必须要解决的方向。 训练程序顾名思义就是训练模型的程序这个也不存在技术难点。 ● 结果展示 将存储和分析结果数据如何进行展示这个也是一个重点以什么方式传递给用户很关键。安全大数据主要是通过机器进行数据分析直接得出结果还有基于原始数据的结果。一定要基于这两方面的结果数据进行考虑因为机器和程序分析的始终无法代替人的大脑思考况且人脑思考问题和决策也不能保证万无一失。所以说在产品设计的时候一定要基于两方面的考虑一是要支持原始数据的查询和统计用户根据自己的安全经验进行分析就像刑侦人员基于自己的经验进行办案一样任何办案技术加持情况下也离不开侦查员的分析任何精确制导和火炮打击情况下在特定情况下也离不开特种兵的目标引导二是基于机器和程序分析的结果进行展示和二次分析验证机器永远只是辅助人类进行思考和决策。 网络安全的本质在于对抗 对抗的本质在于攻防两端能力的较量在于人性的较量道高一尺魔高一丈魔高一尺道高一丈此消彼长网络安全永不停步现在很多产品的设计脱离了攻防对抗的本质不管是物理隔离的涉密网、互联网都离不开攻防对抗的思路应当将红蓝对抗的经验和数据应用到产品中进攻是最好的防守没有攻防数据的支撑人工智能在网络安全分析中的应用也是巧妇难为无米之炊。网络安全离不开人性研究、攻防对抗、云计算、大数据及人工智能的加持。道阻且长行则将至行而不辍未来可期。
