网络实时监控解决方案

– 可将恢复出来的信息，发送到多个监控终端上，并可 以存储监控到的可疑的上网行为
• 接口描述
– 接镜像报文预处理服务器，接收【镜像报文+监控对象 id】
– 接显示终端，显示分析出来的监控内容
重定向内容处理服务器
• 功能描述
– 原有内容处理服务不需要任何修改，可以完全 基于user space的socket侦听架构，因为所 有前端处理已经被透明化了。
• 实现高性能的策略远程负载均衡重定向功能
– 高性能串接模式 – 动态策略过滤重定向 – 负载均衡的远程部署
• 实现高性能的策略远程Biblioteka Baidu载均衡镜像功能
– 高性能并接方式(双臂镜像) – 动态策略过滤镜像 – 负载均衡的远程部署
全网远程实时重定向方案
内容处理服务器群
IP溯源中心
城域网
智能网络探针设备 (策略重定向)
镜像流量需要隧道
系统处理过程简述
• 被监控对象，通过、手机、WiFi等上网 • 通过现有技术手段，实时回溯被监控对象使用的IP地址或者账号信息 • 向该“智能网络探针设备”动态下发镜像或者重定向指令，参数包括：
源IP、目的IP 、目的端口等组合条件。 • “智能网络探针设备” 实时根据条件进行过滤，并执行镜像或者重定
网络为串接模式
重定向流量需要回注
重定向流量 正常访问
全网远程实时监控方案
4、镜像报文实时 行为恢复服务器
IP溯源中心 镜像流量 下行分光 上行分光
被监控对象
3、被监控对象镜 像报文存储设备
镜像重组设备
城域网
分光器
5、被监控对象网络 行为实时显示终端
智能网络探针设备 (策略镜像分流)
网络为旁路并接模式
镜像报文重组设备
• 功能描述
– 解析带隧道包头的镜像包，并剥掉隧道包头 – 对于分片报文需要进行分片重组处理 – 采用直接用原报文的目的MAC转发的机制分流
镜像流量到不同的目的服务器
镜像报文实时恢复服务器及显示终端
• 功能描述
– 接收镜像报文预处理服务器发送来的镜像报文，并将 镜像报文做相应的处理，分析并恢复监控对象的网络 行为，在显示终端上展示，包括下载的网页、上传的 网页、聊天内容、发送或接收的邮件内容等
– 确定需要监控这个用户的单位的IP地址 – 向镜像控制服务器发送监控指令
• 接口描述：
– 【镜像控制服务器编号、用户名、密码等信息及IP地 址】,【被监控对象的IP地址、被监控对象id】,【监控 单位的预处理服务器的IP地址】等
集中策略配置服务器
• 功能描述
– 集中自动通过IP溯源中心获取IP地址或者账号 信息，并且把配置命令下发到“智能网络探针 设备”中
向处理。 • 对于重定向处理，采取均衡算法选取目的服务器群，更换目的IP地址
+目的MAC,远程分流重定向到指定的服务器去做特殊处理，处理之后 的流量回注到监控设备，监控设备再次更换原IP地址之后转发回去。 • 对于镜像处理，采取均衡算法选取目的服务器群，添加一个新的IP头, 并且对于超过MTU的报文进行分片处理之后，远程分流景象到指定的 服务器去做镜像处理，这时需要在远程接入一个镜像重组设备，剥离 添加的IP头，并且将报文重组，但是转发仍然按照外层MAC 进行转 发的操作，从而达到分流到不同的镜像服务器。
• 输入信息：全网流量，或者需要被监控的内网IP地址，内 网IP范围，目的IP范围，目的端口等组合信息
• 输出信息：分光流经该设备的，根据策略镜像出来的流量， 根据保持算法进行负载均衡分离，同时修改目的IP+目的 MAC地址，镜像或者重定向指定流量到不同的远端服务 器进行内容恢复和监控处理
主要实现方案
• 布署困难：现有技术手段需要消耗大量的服务器在直连光 纤上镜像抓包，进行内容恢复，无法实现远程集中式的分 析解决方案，在部署和实时性上都有很大的局限性
• 成本增加：对大流量环境需要进行内容进行处理的数据量 巨大，必须采用外接负载均衡设备进行分流，造成部署和 成本急剧增加
实现需求的关键设备
• 高效过滤：要实现高效率的实时分析和处理网络行为内容， 就需要一种设备，能够高性能的过滤出指定条件的数据流
– 集中直接进行实时的镜像或者重定向配置策略 下发到各个“智能网络探针设备”
网络探针设备
• 功能描述：
– “智能网络探针设备” 实时根据条件进行过滤，并执行镜像或者 重定向处理。
– 对于重定向处理，采取均衡算法选取目的服务器群，更换目的IP 地址+目的MAC,远程分流重定向到指定的服务器去做特殊处理， 处理之后的流量回注到“智能网络探针设备”， “智能网络探针 设备”再次更换原IP地址之后转发回去。
– 对于镜像处理，采取均衡算法选取目的服务器群，添加一个新的 IP头,并且对于超过MTU的报文进行分片处理之后，远程分流景象 到指定的服务器去做镜像处理，这时需要在远程接入一个镜像重 组设备，剥离添加的IP头，并且将报文重组，但是转发仍然按照 外层MAC 进行转发的操作，从而达到分流到不同的镜像服务器。
网络实时监控系统方案
--智能网络探针
V.0.0.2 2012年5月
需求分析
• 性能瓶颈：在大流量的电信级运营网络中因为性能瓶颈无 法串接，从而无法实时获得所需内容
• 不能实时：目前的技术手段，只能从海量镜像报文的存储 设备中提取需要特殊分析的镜像包，再动用大量的服务器 进行分析和处理，不能做到实时分析，同时效率也非常低。
各个模块的功能简介
• IP溯源中心 • 集中策略配置服务器 • 智能网络探针设备 • 镜像报文重组设备 • 镜像报文实时恢复服务器 • 重定向内容处理服务器
IP溯源中心
• 功能描述：
– 根据截获的被监控对象的某种应用的相关信息，确定被 监控对象使用的IP地址
– 确定该IP地址所属的接入点是否有镜像设备，以及镜像 控制服务器的IP地址