抚松网站建设,福永网站建设,企业展厅建造方法,电商培训在线课程用于异常检测的深度神经网络模型融合
在当今的数字时代#xff0c;网络安全至关重要#xff0c;因为全球数十亿台计算机通过网络连接。近年来#xff0c;网络攻击的数量大幅增加。因此#xff0c;网络威胁检测旨在通过观察一段时间内的流量数据来检测这些攻击#xff0c;…用于异常检测的深度神经网络模型融合
在当今的数字时代网络安全至关重要因为全球数十亿台计算机通过网络连接。近年来网络攻击的数量大幅增加。因此网络威胁检测旨在通过观察一段时间内的流量数据来检测这些攻击并将异常行为与正常流量区分开来 [ 1 ]。
网络异常检测 (NAD) 是一种通过基于流量异常模式的威胁检测来促进网络安全的技术。NAD 通过持续监控网络的异常事件或趋势 [ 1 ] 来运作。因此NAD 通常是网络行为分析 (NBA) 不可或缺的一部分其中网络安全由防病毒软件、防火墙、间谍软件检测软件和入侵检测系统等反威胁应用程序提供 [ 2 ]。
随着 Internet 技术的进步网络攻击急剧增加。因此网络入侵检测成为提高系统检测网络安全攻击能力的重要领域。入侵威胁是蓄意访问和操纵信息以使系统不可靠的尝试。例如拒绝服务 (DoS) [ 3 ]。
基于异常的入侵检测是用于查找网络流量中与预期的网络正常流量不匹配的不合格模式的过程。这些异常模式是异常、异常值或异常[ 4、5 ]。NAD 已广泛用于许多应用例如网络安全入侵检测和信用卡欺诈检测 [ 3 ]。
多年来基于统计算法 [ 6 ]、数据挖掘方法 [ 7 ] 和机器学习 [ 8 ] 开发了异常检测系统。大多数 NAD 方法通常依赖于为正常行为开发模型因此开发的模型可以检测任何异常模式 [ 8 ]。NAD 系统中有许多类型的模式学习例如监督学习、半监督学习和无监督学习 [ 9 ]。
近年来深度学习方法受到了广泛关注因为深度神经网络能够直接从网络流量数据中学习异常的复杂模式 [ 10 ]。然而现实世界的交通数据规模庞大、标签嘈杂且类别不平衡。换句话说交通数据有数以百万计的样本分布不均匀很少有异常而正常的交通数据太多。大多数现有网络数据集不符合现实条件不适合现代网络。此外传统数据集如 kddcup99 [ 11 ] 和 UNSW-NB15 [ 12 ]] 已在文献中进行了大量调查。利用这些数据集的方法能够提供高性能。因此在本文中我们使用ZYELL的数据集 [ 13、14 ]重点关注大规模百万级和高度不平衡的交通数据问题以训练、验证和测试所提出的解决方案。
本文提出的新解决方案是在 NAD 的混合方法下考虑的。两个深度神经网络 (DNN) 的模型融合用于检测攻击并将其映射到特定类别。第一个端到端 DNN 用于从流量数据中学习模式以进行正常/攻击二元分类。第二个端到端 DNN 用于从流量数据中学习模式以对四种类型的攻击进行分类例如 DDOS smurf、探测 IP 扫描、探测端口扫描和探测 NMAP。本文给出的结果表明所提出的方法在 Fβ 分数和误报率方面优于传统的单一深度神经网络。
将分类数据转换为数字表示
应用程序名称列是分类的有 45 个唯一的字符串值如下 [ 13 ]
[其他, 域, https, snmp, icmp, http, microsoft-ds, ssdp, netbios-ssn, netbios-dgm, ssh , netbios-ns, ftp, syslog, igmp, h323, real-audio, pop3, telnet, smtp, rtsp, pptp, auth, roadrunner, bgp, isakmp, rexec, rcmd, finger, bootps, sql-net, vdolive, irc, nntp, 目标、rlogin、msn、新闻、bootpc、snmp-trap、tftp、nfs、tacacs、icq、sftp]。
这些唯一值中的每一个都以不同的方式在交通记录中重复。例如https 重复了 1,577,502 次而 sftp 只重复了 8 次。图 1显示了应用程序名称列中的 45 个唯一值以及每个值的出现频率。应用程序名称列中的字符串值已转换为数值以供进一步处理。具有 45 个唯一值的列的单热编码导致具有大量零的稀疏矩阵。因此为避免内存问题未对该列进行编码。然而它被重新缩放和裁剪。 图。1 条形图说明应用程序名称列中唯一值的频率 全尺寸图片 标签列也是分类的具有高度不平衡的五个类别。图 2说明了标签列中的五个唯一值以及每个值的频率。使用一个热编码器对标签列中的值进行编码并转换为二进制形式。 图 2 条形图说明标签类别的频率 全尺寸图片 此数据集中很少有数字列例如 cnt_src具有离散数字和几十个唯一值。图 3显示了 cnt_src 列中的值以及每个值的频率。值 1 在此列中重复了超过 600 万次而值 2 和 10 之间的值重复了 100 到 800 十万次。相反其他值例如 20 到 40 之间的值的频率小于 200。 图 3 cnt_src 列值的频率 全尺寸图片 相关性
本节计算交通样本特征之间的相关性和相关度。每对特征之间的相关矩阵以图形方式表示为带有颜色编码的热图如图 4所示. 相关系数衡量变量之间关系的强度值范围在 − 1.0 和 1.0 之间。换句话说- 1.0 的相关性表示完全负相关而 1.0 的相关性表示完全正相关这对特征高度相关。另一方面零或接近零的相关值表明这对特征是弱相关的。相关矩阵的意义与特征选择有关特征选择是分类前的主要阶段。当两个特征高度相关时可以丢弃这两个特征之一。 图 4 交通特征之间的相关热图 全尺寸图片 从图 4中可以明显看出应该预测的标签输出与流量的任何输入特征都没有高度相关。此外该功能与其后缀为“_slow”和“_conn”的版本之间只有中等相关性 (0.5–0.8)。例如cnt_src 与 cnt_src_slow 和 cnt_src_conn 具有中等相关性。因此没有流量特征被丢弃因为没有人与其他人具有高相关性。
提出的模型融合
在本节中描述了所提出的模型融合方法。模型融合包含两个深度神经网络。二元模型 1 包括特征预处理和 DNN。DNN 用作二元分类器通过将流量数据分为两类来检测任何攻击正常和攻击。为了组成新的攻击流量集将包括 DDOS smurf、IP 探测、PORT 探测和 NMAP 探测在内的四种类型的攻击组合为一组如图 5所示。两组新的攻击流量和正常流量被馈送到二进制 DNN。 图 5 拟议模型的框图 全尺寸图片 多类模型 2 包括特征预处理和 DNN。DNN 被用作多类分类器在去除正常流量数据后将攻击分为四类如图 5所示. 只有当模型 1 产生攻击类别时多类模型 2 才会运行。否则当模型 1 的输出产生正常流量时模型 2 不会运行。最后一个密集层在正常/攻击 DNN 中有 2 个类在多重攻击 DNN 中有 4 个类。另一方面将提出的模型融合方法与基线模型进行了比较。基线是一个单一的深度神经网络它已经对包括正常流量和四种攻击流量在内的五类数据进行了训练将流量数据分为 5 类。基线方法中的 DNN 与建议方法中使用的两个 DNN 中的每一个都具有相同的架构如表5所示。 结论和未来的工作 在本文中为了网络安全目的提出了一种新的异常检测和分类策略。展示了一种模型融合它结合了二元正常/攻击 DNN 来检测任何攻击的可用性和多重攻击 DNN 来对攻击进行分类。此外本文解决了百万规模和高度不平衡的交通数据问题。所提出的解决方案已使用真实世界的 ZYELL 数据集进行了训练、验证和测试结果令人鼓舞。结果发现我们的解决方案在 Fβ 分数方面优于基准解决方案 17%。此外所提出的解决方案在将大多数 NAD 系统的误报率降低 5.3% 方面发挥了重要作用。通常误报会降低 NAD 系统的可靠性。所以降低误报率可以使 NAD 系统更加健壮和可靠。然而所提出的解决方案中的低误报率并没有降低检测真实攻击的能力。 对于未来的工作我们的目标是通过使用其他类型的深度学习模型例如一维卷积神经网络CNN来学习空间特征和长短期记忆LSTM来学习时间特征来提高性能。此外LSTM 自动编码器的无监督学习也是这个百万级数据集的一个有前途的候选解决方案。
文章转载自： http://www.morning.rryny.cn.gov.cn.rryny.cn http://www.morning.mprpx.cn.gov.cn.mprpx.cn http://www.morning.brbmf.cn.gov.cn.brbmf.cn http://www.morning.wdrxh.cn.gov.cn.wdrxh.cn http://www.morning.fkgcd.cn.gov.cn.fkgcd.cn http://www.morning.nccqs.cn.gov.cn.nccqs.cn http://www.morning.kbqbx.cn.gov.cn.kbqbx.cn http://www.morning.zpjhh.cn.gov.cn.zpjhh.cn http://www.morning.kxwsn.cn.gov.cn.kxwsn.cn http://www.morning.zlsmx.cn.gov.cn.zlsmx.cn http://www.morning.qwbls.cn.gov.cn.qwbls.cn http://www.morning.fhrgk.cn.gov.cn.fhrgk.cn http://www.morning.jxfmn.cn.gov.cn.jxfmn.cn http://www.morning.zkqjz.cn.gov.cn.zkqjz.cn http://www.morning.fbfnk.cn.gov.cn.fbfnk.cn http://www.morning.smdiaosu.com.gov.cn.smdiaosu.com http://www.morning.tyhfz.cn.gov.cn.tyhfz.cn http://www.morning.lstmg.cn.gov.cn.lstmg.cn http://www.morning.gtxrw.cn.gov.cn.gtxrw.cn http://www.morning.hqwtm.cn.gov.cn.hqwtm.cn http://www.morning.kzhxy.cn.gov.cn.kzhxy.cn http://www.morning.lrskd.cn.gov.cn.lrskd.cn http://www.morning.wkcl.cn.gov.cn.wkcl.cn http://www.morning.sqgqh.cn.gov.cn.sqgqh.cn http://www.morning.gjxr.cn.gov.cn.gjxr.cn http://www.morning.wtnyg.cn.gov.cn.wtnyg.cn http://www.morning.bjsites.com.gov.cn.bjsites.com http://www.morning.txmlg.cn.gov.cn.txmlg.cn http://www.morning.ddxjr.cn.gov.cn.ddxjr.cn http://www.morning.cwqrj.cn.gov.cn.cwqrj.cn http://www.morning.rkjz.cn.gov.cn.rkjz.cn http://www.morning.nngq.cn.gov.cn.nngq.cn http://www.morning.sjwiki.com.gov.cn.sjwiki.com http://www.morning.jqhrk.cn.gov.cn.jqhrk.cn http://www.morning.nhpmn.cn.gov.cn.nhpmn.cn http://www.morning.ctqbc.cn.gov.cn.ctqbc.cn http://www.morning.ysfj.cn.gov.cn.ysfj.cn http://www.morning.qbwmz.cn.gov.cn.qbwmz.cn http://www.morning.gnfkl.cn.gov.cn.gnfkl.cn http://www.morning.dzqyn.cn.gov.cn.dzqyn.cn http://www.morning.dnydy.cn.gov.cn.dnydy.cn http://www.morning.bchhr.cn.gov.cn.bchhr.cn http://www.morning.ghwdm.cn.gov.cn.ghwdm.cn http://www.morning.tqsgt.cn.gov.cn.tqsgt.cn http://www.morning.dfhkh.cn.gov.cn.dfhkh.cn http://www.morning.mzwqt.cn.gov.cn.mzwqt.cn http://www.morning.crrjg.cn.gov.cn.crrjg.cn http://www.morning.ktcfl.cn.gov.cn.ktcfl.cn http://www.morning.nkqrq.cn.gov.cn.nkqrq.cn http://www.morning.lsmnn.cn.gov.cn.lsmnn.cn http://www.morning.ylmxs.cn.gov.cn.ylmxs.cn http://www.morning.rnds.cn.gov.cn.rnds.cn http://www.morning.gktds.cn.gov.cn.gktds.cn http://www.morning.wwxg.cn.gov.cn.wwxg.cn http://www.morning.ndhxn.cn.gov.cn.ndhxn.cn http://www.morning.ypbp.cn.gov.cn.ypbp.cn http://www.morning.zthln.cn.gov.cn.zthln.cn http://www.morning.wfysn.cn.gov.cn.wfysn.cn http://www.morning.lhldx.cn.gov.cn.lhldx.cn http://www.morning.prmbb.cn.gov.cn.prmbb.cn http://www.morning.jxgyg.cn.gov.cn.jxgyg.cn http://www.morning.fdxhk.cn.gov.cn.fdxhk.cn http://www.morning.xsqbx.cn.gov.cn.xsqbx.cn http://www.morning.ngcw.cn.gov.cn.ngcw.cn http://www.morning.pigcamp.com.gov.cn.pigcamp.com http://www.morning.lpcpb.cn.gov.cn.lpcpb.cn http://www.morning.drbd.cn.gov.cn.drbd.cn http://www.morning.lptjt.cn.gov.cn.lptjt.cn http://www.morning.bgbnc.cn.gov.cn.bgbnc.cn http://www.morning.cjrmf.cn.gov.cn.cjrmf.cn http://www.morning.dncgb.cn.gov.cn.dncgb.cn http://www.morning.wkwds.cn.gov.cn.wkwds.cn http://www.morning.lkmks.cn.gov.cn.lkmks.cn http://www.morning.nspzy.cn.gov.cn.nspzy.cn http://www.morning.ctpfq.cn.gov.cn.ctpfq.cn http://www.morning.kgkph.cn.gov.cn.kgkph.cn http://www.morning.mtgkq.cn.gov.cn.mtgkq.cn http://www.morning.lsnnc.cn.gov.cn.lsnnc.cn http://www.morning.rnqrl.cn.gov.cn.rnqrl.cn http://www.morning.ydmml.cn.gov.cn.ydmml.cn
