京公网安备 11010802034615号
经营许可证编号:京B2-20210330
基于最小二乘法的异常行为分析模型设计
本文针对异常访问现状及问题进行简要描述,在此基础上提出基于一元线性回归的最小二乘法异常访问分析模型,通过该模型解决了异常访问中时间与访问间相关性问题。
异常访问是指网络行为偏离正常范围的访问情况。异常访问包含多种场景,如Web访问、数据库访问、操作系统访问、终端交互等。
异常访问一直是网络信息安全中备受困扰的。困扰主要体现在以下几个方面,通过某一个模型满足所有场景,模型缺少明确使用条件致使结果不明确,模型计算量大计算耗时长等方面。
基于以上的现状,本文仅针对系统登录异常访问进行分析,通过对系统登录事件与时间进行回归统计筛选出异常访问时间段。
下图为异常登录事件检测的时序图:
异常登录时序图
异常登录事件模型的活动图流程如下:
1)用户进行登录,输入相应的用户名及口令。
2)系统进行登录验证,判断是否为合法用户登录。
3)登录成功或失败均会将本次登录行为记录下来。
4)日志自动发送至分析系统。
5)分析系统对收到的日志进行分析,分析采用最小二乘法。
6)如果发现异常登录事件则触发告警事件。
7)最后工作人员可收到告警提示,并查看到相应的告警。
当触发告警后,工作人员需要在量化分析中进行进一步分系工作。通过日志的登录事件能够找到何人何时登录哪个系统。详细记录下这些信息后方可以进行后续的时间处置工作。
异常登录模型是分析系统的一个重要分析模型。这个分析模型中采用最小二乘法对登录事件进行异常判断。异常判断包括成功登录的异常判断,以及未成功登录的异常判断两类。
以下面的成功登录事件为例进行详细说明:
登录统计列表
上面的表格中描述的是以5分钟为单位时间内,系统登录成功的事件统计。
此时我们无法看出哪个时间单位内存在异常登录的情况。
如下图所示:
登陆次数散点图
首先采用“最小二乘法”对其求解。
最小二乘法
求解出直线与散点图叠加,如下所示:
登录次数最小二乘法拟合图
回归模型
经过逐一计算每个点的残差如下:
登陆次数残差结果表
通过上面的表格可以看到,序号为5、9、10的三个点残差值偏离相对比较大。同时,根据经验判断,正常的登录事件残差值通常在-10~+10之间。而这3个点的残差值偏离区间明显。残差值分别为“15.23967”,”-16.4549”,“15.098”。
针对此登录事件我们采用的置信区间为-10~+10,置信区间可根据不同的场景进行调整。
通过采用最小二乘法的方式进行异常登录事件查询,能够很好的解决传统统计表格中难以发现的问题。传统的方式都是采用TopN的方式对登录成功、登录失败的事件进行简单罗列。但在众多的登录事件中,哪些是值得工作人员关注的却难以得到体现。
最小二乘法的引用可以从众多的登录事件中分离出最为明显的异常行为,通过系统的初筛能够给工作人员提供可供量化分析能力。 工作人员通过量化分析模块能够对相应的事件进行分析工作。同时残差值的可定义为灵活应对分析需求提供便利条件。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-05在数据库数据查询、业务报表统计、多表关联分析中,LEFT JOIN左连接是使用率最高的SQL关联查询语句。其核心特性是保留左表全部数 ...
2026-06-05 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-06-05任何一款产品从诞生、普及到最终退出市场,都会遵循一套固定的发展规律,这就是产品生命周期理论。在市场竞争日益激烈、产品迭代 ...
2026-06-04在Excel数据分析、办公统计、业务报表制作场景中,数据透视表是数据汇总、分类统计、快速复盘的核心工具,能够高效完成海量原始 ...
2026-06-04 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-06-04在问卷调查与社会科学数据分析中,卡方检验是最常用、最基础的非参数检验方法,广泛应用于市场调研、用户分析、行为统计、满意度 ...
2026-06-03【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-03 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-06-03逻辑回归是数据分析、机器学习、统计建模中应用最广泛的二分类预测模型,常用于风险判断、行为预测、归因分析等场景。在SPSS、Py ...
2026-06-02数字经济时代,市场竞争日趋同质化,用户消费需求愈发个性化、多元化,传统依托经验、粗放式、广撒网的营销模式弊端日益凸显。长 ...
2026-06-02 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-06-02在市场竞争日趋饱和、用户需求不断细分的当下,企业创业创新、产品迭代与市场拓展不再依赖经验决策,而是需要系统化、工具化的商 ...
2026-06-01【核心关键词】调度、岗位、数据库、企业、报表、培训、程序、数据分析、数据加工、业务部门、企业数据、调度工具、业务指标、 ...
2026-06-01 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-06-01在数据统计分析、数据清洗、异常值识别与数据分布研究中,箱型图是最直观、高效、专业的可视化分析工具。相较于柱状图、折线图仅 ...
2026-05-29Tkinter是Python内置的标准GUI图形界面库,具备无需额外安装、调用简单、兼容性强、轻量化高效等优势,是Python快速开发桌面小程 ...
2026-05-29 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-05-29【核心关键词】大数据、经理、专业、金融、客户、传统、建模、数据产品、互联网金融、产品经理、数据分析、金融行业、数据模型 ...
2026-05-28 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-05-28