京公网安备 11010802034615号
经营许可证编号:京B2-20210330
本人理解的大数据_数据分析师(2)
昨天偷懒了少了一次文字排版,没想到好多朋友发消息来说字体变小了不习惯,看来坚持大一点的字体还是有好处的。
虽然很想保持高频率更新,但没想到回阿里后工作竟然比创业时还忙。经常回家得比较晚,再加上每天脑力使用过度,所以竟是硬生生的断更了两周。在接下来我想如果可能的话,把更新的时间调整到周日的晚上,周末可能会稍微空闲点。
在此也再征集一下大家想看的话题,可以向我提问,我会选取部分作为接下来文章的选题。
延伸一下昨天关于大数据的话题。在安全行业里未来真正会具备核心竞争力的,我认为正是这样的全局视角带来的改变。
比如近年来兴起的「撞库」攻击。因为各大公司用户数据的泄露,黑客手上已经拥有了数十亿条用户数据,其中20%包含了明文密码。在过去黑客想破解一个用户的密码,可能会通过字符的排列组合生成一部字典,逐个尝试,这样破解的效率无疑是相当低的。但现在因为有了全网用户的「密码库」,只需要简单的查询用户名,多半就能知道密码是什么,简单粗暴。
大数据就应该这么简单粗暴的应用,以一种完全不讲道理的方式直接达到效果,根本不需要什么精巧的算法,就像「把大象装进冰箱」里一样。
类似的,国外一家安全公司Akamai宣称他们能非常有效的阻断DDoS攻击,原因是他们通过和运营商合作的方式获取了全球30%左右的流量,从而能有效的监控到全球所有的恶意IP,发现有攻击过来,直接根据IP信息就阻断了。这也是大数据的一种典型应用。
再举一个例子,数据可能来自于过去没有注意到的地方。对于电话诈骗的传统解决思路,一般是从用户的来电号码着手,或者是从周边信息比如短信、传播来源入手。这些传统方法已经逐渐的变得效率低下。但目前有一种解决思路是根据用户的「声纹」信息进行有效识别,这样只要积累了一个用户的「声纹信息库」,就能够在每个用户通话时,直接识别出被标记为诈骗的那个用户。
所谓「声纹」就像是指纹信息一样,每个人说话的声音其实都是独一无二的,通过数字化的方法能够有效的识别出来。目前国外一些安全公司会把这种技术用在Call Center中进行反欺诈。但声纹信息和指纹信息一样,会成为国家安全基础设施的一部分。比如国外的一些机构,一旦掌握了所有中国人,包括政府领导人的指纹信息,会酿成什么后果很难想象。这也是为什么中国政府的工作人员会禁用苹果手机的原因,至少苹果收集用户的指纹信息会威胁到国家安全。
所以,我理解的大数据,和各种复杂的算法没有直接关系,那最多只是锦上添花。我理解的大数据,就是这么简单粗暴,以高一个维度的视角毫不讲道理的直捣黄龙。
两点之间什么最短?在二维空间是直线最短。但到了三维空间,两点之间距离可以为零(虫洞),比如把一张纸上的两点对折后贴起来。CDA数据分析师培训官网
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25数据分析的核心价值不在于数据计算与图表制作,而在于清晰、精准、有逻辑地输出结论、支撑业务决策。日常数据分析报告普遍存在结 ...
2026-08-25 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-08-25平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-08-24 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19在零售行业大数据分析与精细化运营领域,纸尿裤旁摆放啤酒是最经典、最具代表性的商业案例。两种看似毫无关联的商品,一个是婴幼 ...
2026-08-19 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-08-19在数据分析、业务监控、质量检测与风险管控工作中,数据波动性是衡量数据稳定性、业务健康度、结果可信度的核心依据。数据波动代 ...
2026-08-18很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当导致 ...
2026-08-18在数据分析、业务评价、产品评级、用户分层与综合决策场景中,单一指标往往无法全面、客观地评价事物整体水平。现实中的评价对象 ...
2026-08-18在数理统计、假设检验、数据分析与机器学习领域中,卡方分布(χ²分布)是继正态分布、t分布之后最重要的连续型概率分布之一。 ...
2026-08-17