作为一名系统管理员,您是否经常遭遇下列问题?
问题一:网络利用率很高,宽带被大量占用,经常有流量暴涨导致网络拥堵——到底是谁在使用网络,在使用网络运行什么程序,导致拥堵的原因是什么,如何找到“凶手”?
问题二:网络带宽不足,需要优化,但缺乏统计数据为未来网络建设计划及决策做支撑。
问题三:用户抱怨服务器不响应请求,网络中断,但是原因不详——到底是服务器负载太高的原因,还是网络拥堵呢?
问题四:希望获得详细的网络管理报表,如:IP地址,服务端口及协议的流量分布等。
应用异常流量分析可以解决上述问题,这是网络性能管理重要的一环。其原理就如同医生使用X光、超声波一样,可以透视企业内部网络运作情况,对网络威胁做到一目了然。
一、网络异常流量监测技术现状和发展趋势
根据对网络异常流量的采集方式可将网络异常流量监测技术分为:基于网络流量全镜像的监测技术、基于SNMP的监测技术和基于Netflow的监测技术三种常用技术。
基于网络流量全镜像的监测技术。网络流量全镜像采集是目前IDS主要采用的网络流量采集模式,其原理是通过交换机等网络设备的端口镜像或者通过分光器、网络探针等附加设备,实现网络流量的无损复制和镜像采集。和其他两种流量采集方式相比,流量镜像采集的最大特点是能够提供丰富的应用层信息。
基于SNMP的流量监测技术。基于SNMP的流量信息采集实质上是通过提取网络设备Agent提供的MIB(管理对象信息库)中收集一些具体设备及流量信息有关的变量。基于SNMP收集的网络流量信息包括:输入字节数、输入非广播包数、输入广播包数、输入包丢弃数、输入包错误数、输入未知协议包数等。
基于Netflow的流量监测技术。Netflow流量信息采集是基于网络设备提供的Netflow机制实现的网络流量信息采集,在此基础上实现的流量信息采集效率和效果均能够满足网络流量异常监测的需求。
目前网络异常流量监测技术呈现迅猛发展的态势,技术和产品不断推陈出新,正朝着越来越智能化的方向发展,具体表现在:流量自学习能力,可以更加精确地掌握网络中实际的正常流量的情况,为判断异常流量提供有力的依据;蠕虫攻击特征检测,可以提高已知蠕虫特征的攻击监测准确性,也可以提高监测未知蠕虫攻击的能力;攻击源的自动追溯,可以提高攻击源的定位效率,从而大大提高应急响应的速度。
二、天阗网络异常流量监测系统
作为国内IDS行业的领导厂商,启明星辰公司在解决高速入侵检测和实现IDS报警的细、全、准的基础上,推出了用于对网络流量进行宏观监测的产品——天阗异常流量监测系统。天阗异常流量监测系统基于网络流量全镜像的监测技术,同时采用高速的网络流量采集技术、全面的协议识别和分析技术、流量统计和排名分析技术、恶意流量的分析提取技术、流量事件的定义描述技术和自学习的异常检测和发现技术等,天阗异常流量监测系统能够全面地统计和分析网络流量状况,显示网络中不同流量信息的变化和分布趋势,并采用自学习的异常发现模型,及时发现由于蠕虫、拒绝服务攻击等安全事件带来的流量异常并及时报警。
系统特点
天阗异常流量监测系统是三层分布式结构,由管理控制中心、流量监测中心、流量监测引擎组成。管理控制中心提供集中化的组件管理、图形化的拓扑显示、灵活的流量事件自定义和参数调整以及全面严格的用户管理和审计功能。流量监测中心支持多样化的流量显示方式,并自动生成异常流量的报警信息和异常流量图谱以供查看。流量监测引擎是一台软件与硬件紧密集成的设备,适合部署在千兆级高速网络环境中,全面采集网络流量并形成流量事件上报。
天阗异常流量监测系统通过旁路侦听的方式对网络数据流进行采集、分析和识别,实时监视网络系统的运行状态,记录网络中的实时流量信息,发现网络流量的异常变化,并对带有具体特征的恶意流量进行有效提取和连续性监测。系统自动存储网络流量的变化过程的相关信息,并通过分析形成详细的分析报表。这对于用户把握具体攻击事件产生的异常流量的威胁程度或地址分布具有独特的价值。
一般的网络带宽占用都比较均匀,如果通过流量监测系统发现某一个IP的流量突然剧增,则原因可能是该主机在进行网络扫描,或者是该主机正在对外大量传播网络蠕虫。如此一来,网络管理员就可以有针对性地对该主机进行检查,以避免恶意扫描攻击或大规模蠕虫传播等事件的发生。以下是天阗异常流量监测系统在实际应用中对网络流量监控的效果图。
图一:正常网络流量
图二:异常网络流量
图三:IP流量排名
图四:蠕虫爆发导致的流量异常
系统功能
分布式管理和流量查看:可以同时管理部署在不同区域的多个流量监测引擎,支持分引擎的流量信息监测和查询。
多样化的全面流量监测和多类型的流量统计模式:流量可以采用多种统计模式,包括协议流量、端口流量、IP地址流量(包括源IP统计、目的IP统计、IP对统计、IP统计)、长度流量、流行蠕虫流量监测、攻击报文流量,时间间隔可以由用户调整。
多样化的流量显示图谱:能够产生不同类型的流量状况图谱,用户可以采用曲线图、折线图、柱图等多种方式查看,也可以对比查看详细的流量统计数据。
特定数据内容和攻击报文的流量监测:对于带有特定内容的流量信息,可以采集并显示其统计数据和趋势变化;支持对已知蠕虫、拒绝服务攻击的特征定义,显示恶意流量的变化趋势和统计分布。
异常流量发现和报警:能够通过对一个时间窗内历史数据的自动学习,获取包括总体网络流量水平、流量波动、流量跳变等在内的多种网络流量测度,并自动建立当前流量的置信度区间作为流量异常监测的基础。
基于滑动时间窗置信区间的检测模型和方法:可以在实际运行中不断自我调整和逼近,自动剔除历史时间窗内的异常历史数据,实现历史时间窗数据与网络实际正常流量行为特征的高度吻合,从而提高了对异常流量报警的准确性。
专业化的流量报表:提供了专业的流量数据分析工具,可以设置多种查询条件,按不同流量类型产生统计结果,生成图形化报告,并可根据时间段进行分图输出。
流量细化监测和显示:流量细化监测和显示可以帮助用户发现某种可疑流量后,进行细化监测,发现造成可疑流量的具体原因。流量细化监测是指流量监测者得到一种统计流量类型的各个流量分曲线的显示界面,需要其某个单独流量曲线按照另外的分类方式进行分组统计,实现深入流量分析。
自定义特征流量监测:用户可以根据自己关心的内容进行重点监测定义,如重要服务器的IP流量、端口流量,显示其状态和变化趋势。用户还可以基于漏洞机理特征、攻击特征定义以及特定入侵检测的事件来监测流量事件,用来发现可能出现的未知攻击或者是某种最新攻击流量的变化趋势。
自定义异常流量报警:用户可以根据流量的波动变化范围和不同流量曲线的相对比值,来定义流量的异常报警。自定义异常流量按定义方式分为流量波动异常和流量对比异常。
历史流量分析和报告输出:管理控制中心将流量引擎产生的流量统计数据记录到相应的数据库中,通过流量日志分析可以对历史流量查询,了解不同类型的历史流量变化,显示指定时间段的各种流量的报文数、字节数的统计结果和或平均流量大小;通过报表分析还可以产生不同时间段的异常报警事件的详细查询报告;查询结果可以生成对应的报告,输出支持Word、Excel、HTML的常用格式。
天阗异常流量监测系统可以通过使用单独的硬件化流量引擎来进行流量监测,也可以作为天阗网络入侵检测系统的附加模块进行使用,是对天阗网络入侵检测系统的有效补充,也是启明星辰所倡导的入侵管理中一个重要组成部分。
天阗网络流量异常监测系统可以扩展到骨干网上形成异常流量监测阵列,能够对高速网络进行全面的异常流量监测,目前已在国家级的骨干网上得到成功应用,在预警和抑制“冲击波”、“震荡波”等大规模网络事件中发挥了重要作用。 (责任编辑:刘鹏) |