京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据能帮企业抓住网络入侵者吗?
让大数据服务于企业信息安全的想法意味着更多的企业应用将基于开源软件Hadoop的庞大的数据库。这会导致在IT部门出现一个围绕Hadoop的新型的“数据科学家”(数据分析师)的职位。安全专业人员和数据分析师现在也在讨论大数据还将产生侧重信息安全的数据科学家。这些数据科学家将利用工具和知识准确地找到设法窃取敏感数据的隐蔽的入侵者的攻击。
在复杂的网络中抓住网络窃贼已经证明是很困难的。“大数据”将提供新的希望。但是,“大数据”能保证做到吗?
咨询机构企业管理协会的分析师斯科特·克劳福德(Scott Crawford)也这样认为。他在旧金山举行的RSA会议关于大数据和大数据如何帮助增强安全的分析师小组讨论会上说:“统计分析将识别出异常情况,但是,统计分析不理解安全。”
克劳福德预计最终将出现一个大数据的“安全算法市场”。他指出,Red Lambda和Palantir等公司目前正在解决这个问题。它们利用大量的算术分析以发现异常情况。
对于网络内部行为正常网络用户来说,企图隐藏起来的恶毒的攻击者一种异常行为。攻击者通常隐藏在正常用户的后面。Gartner分析师尼尔·麦克唐纳德(Neil MacDonald)在RSA小组会上发言称,目前,隐蔽的攻击者正在通过传统的防御措施,如入侵防御系统、防火墙和杀毒软件。
麦克唐纳德称,这些渗透和窃取高度敏感数据的灾难性的攻击有时候称作“高级的持续威胁”(APT)。这种攻击是能够把自己的恶意行为有效地隐藏在网络中的人类演员实施的。我们还不知道在网络中“好的”和“坏的”行为是什么样子。他指出,你必须了解“好的”行为是什么样子以便理解“偏离好的行为”。
分析师认为,大数据正在为安全分析提供新的可能性。这意味着目前使用的安全工具、安全信息与事件管理以及类似的不能解决这个问题的工具必须要发展。
麦克唐纳德称,在某种程度上,这种发展现在已经开始了。他是指RSA的威胁检测产品NetWitness和惠普的ArcSight SIM。CrowdStrike等一些创业企业称,他们将用新的方式解决APT问题。
但是,SIEM(安全信息和事件管理)的发展能够处理与商务有关的大数据吗?这个整个想法是不是一个愉快的假象?这个整个想法就是把更多的商务数据添加到来自各种防火墙、服务器、入侵防御系统和类似产品的更传统的SIEM数据中以便提高更有意义的关于入侵者的情报。
市场研究公司Forrester的分析师约翰·金德瓦格(John Kindervag)称,人们不能从SIEM工具中得到自己需要的答案。他表示将会出现一些新的东西。SIEM工具将是这些新东西的一部分。
在参加RSA小组讨论会的分析师中,企业战略集团(Enterprise Strategy Group)分析师乔恩·奥尔特辛克(Jon Oltsik)是最乐观的。他认为大数据是解决APT问题的答案。
奥尔特辛克发表评论称,我担心的问题是我们将获取更多的数据,但是不知道用这些数据做什么。企业中的首席信息安全官目前还没有宣传大数据将促进安全的想法。他说:“当我与首席信息安全官谈话并且问到有关大数据的问题时,他们只是笑一笑。”
不过,一些大数据安全方法的早期应用者也表示有希望。
Zions Bancorporation公司已经建立了一个大型数据库,对实时安全和商务数据结合在一起的数据进行预防性的分析,以便识别钓鱼攻击,防止诈骗和阻止黑客入侵。这个数据库是在去年10月发布的,是以Zettaset数据库为基础的。这个数据库利用Hadoop工具数据密集型的分布式应用的分析。该公司首席安全官普雷斯顿·伍德(Preston Wood)把这种做法解释为增强SIM工具的一种方法并且为了安全目的分析大量的历史的商务数据。
包括NetIQ在内的SIEM厂商表示,他们知道,有关大数据和安全的议论才刚刚开始。
NetIQ产品管理主管马特·尤莱里(Matt Ulery)称,这是SIEM的发展方向。他说,这个行业正在通过集成商务智能开始重新发明SIEM技术。大数据能够检测到异常情况。尤莱里指出,该公司的Sentinel 7.0集成了更多的数据环境。
尤莱里针对攻击者将接管一个账户的事情问到:“你如何定义好的行为?因此,这个问题就是那是一位员工,还是一个攻击者?”隐蔽的攻击行动最多每天会出现几秒钟。因此,这个目标就是区分可信赖的内部人员和攻击者。大数据在这方面会提供许多帮助。
但是,尤莱里补充说,有许多现实的理由说明为什么用于安全的大数据概念将遇到许多障碍。
一个现实的障碍是目前把企业数据放在云计算中的努力。这将使传统的SIEM方法更加困难。SIEM方法一直在企业内部网络中应用。另一个障碍是对大数据抱希望的安全经理们要制定数据管理战略并且推荐非常高级的技术。在还有许其它的多企业问题需要解决的时代,增加大数据问题可能是一个很难说服人的问题。目前,在工作场所使用员工自带的移动设备(BYOD)已经是企业的一个重大的管理问题。cda数据分析师培训
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22CDA数据分析师 出品 作者:李诗怡 1. 金字塔原理 定义: 一种“先总后分、先结论后原因”的思考和表达方式。顶层为核心观点,中 ...
2026-09-22