京公网安备 11010802034615号
经营许可证编号:京B2-20210330
SAS如何看待大数据
“大数据”现在是一个炙手可热的词语,数据分析师这个词虽然比较新,但收集与存储大量信息的历史却不短了。
早在本世纪初,行业分析师Doug Laney就提出了“3V模型”来定义大数据,如今已经成为主流。所谓“3V模型”分别是指数据量(Volume)、速率(Velocity)、多样性(Variety)。
数据量(Volume)是指一些组织从商业交易、社会媒体等来源收集数据,从传感器或者机器通信(M2M)数据中获取信息。以前存储这些数据或者信息是一个难题,但新兴的技术(如Hadoop等)减轻了这项负担。
速率(Velocity)是指数据以一种空前的速度流入,而且必须得到及时的处理。无线射频识别 (RFID)标签、传感器以及智能仪表使得对于连续涌来的数据进行“准实时”处理的需求越发突出。
多样性(Variety)获得的数据具有各种各样的格式(从传统数据库中的结构化数值型数据到非结构化的文本文档、邮件、视频、音频、股票行情及经济交易等)。
不过SAS对大数据另有独到看法。SAS是在中国的文化大革命时期建立和发展起来的一家数据处理公司,现在已经是数据行业的领军企业。SAS在3V模型的基础上加入了另外两个维度:可变性(Variability)和复杂性(Complexity)。
可变性(Variability)是指数据流不稳定易变化的特征。除了数据速率提升及多样性增加的问题,数据流还有着极不稳定的周期峰值。是否有什么在社会媒体中起了导向作用?每日的、季度的以及事件触发性的数据负载高峰会给数据管理造成极大的挑战,这在处理非结构化数据时尤为明显。
复杂性(Complexity)是指随着数据来源多样化、数据流可变性增加,数据处理日益复杂化。如今数据的来源各种各样,这会给跨系统的数据关联、匹配、清洗以及转换造成困难。然而,对数据间的关系、层级以及多数据间的联结点进行关联是十分重要的,否则你的数据很快就会失控。
来自VISA的启示
全球已产生的和存储的数据量是无法想象的,而且它还在持续增长。毫无疑问,大数据在商业分析方面有巨大的潜力。那么企业怎样才能更好地应用这些每天新增的原始数据呢?
大数据的重要性不在于你拥有多少数据,而在于CDA数据分析师如何使用这些数据,同时数据分析师还要得到数据分析师认证。你能从任意来源渠道获取数据,并且通过对其进行分析从而减少损耗、缩短用时、发展新产品和优化供应方案、最终使智能决策成为可能。
著名的信用卡服务公司VISA就利用大数据,减少了欺骗性信用卡和借贷卡的办理。和绝大多数信用卡公司一样,Visa在为客户提供看不见的服务的时候面临着诈骗活动的挑战——解决这个问题的难处在于提供服务和避免欺诈并不能总是一同解决。
比如说,当信用卡公司首次运用计算机系统自动分析判断欺诈交易时,有更多的在外度假或公干的客户反映支付被拒,因为这项技术的难点在于计算机很难评估用户是在旅游,还是信用卡被盗刷了。
Visa中为北亚问题提供解决方案的负责人Nathan Falkenborg说:“如果我们得知你很可能在旅游,那么我们就会告诉你参与的金融机构,让你在购物的时候不会被拒绝支付,我们也会协助银行制定更优的Visa工具和积分系统的使用策略。”
而利用大数据分析,Visa可以实时地分析超过500项独立的变量,来判断用户到底是在异地度假或公干使用信用卡、还是用户的信用卡在异地被盗刷了。这对于减少欺骗性交易、又不让用户被不必要的支付遭拒所困扰有很大的帮助,而且潜在地节省了每年二十亿美元的欺骗性支付额。
各行业如何利用大数据
大数据对几乎每个行业的组织都产生了影响,让我们来看看每个产业怎样才能从信息的大量涌入中获益呢。
银行
随着大量的信息流,银行正在寻找新的并且创新的方法来管理大数据。虽然去理解顾客和让他们更满意是很重要的,但是在遵从法规的同时减少风险和欺诈也是同样的重要。大数据带来了伟大的见解,但是它也要求金融机构要利用先进的分析策略和技术,在这场大数据游戏中领先一步。
教育
有着数据驱动思维的教育者将对教育系统,学生和课程产生重要的影响。通过分析大数据,他们可以识别有潜在困难的学生,从而确保学生在学业上有适当的进展,还可以形成一个更好的系统,以评估和支持教师和校长。
政府
当政府机关有能力去利用分析学分析大数据,在管理公用工程,机构的运行,处理交通拥堵或者以防犯罪的问题上他们可以得到非常有意义的资料。但是大数据虽然有非常多的好处,政府必须解决隐私和透明度的问题。
卫生保健
病人的记录,治疗计划,处方信息。当谈到卫生保健,每一件事都需要快速准确的完成,在有一些情况下,我们还需要有足够的透明度去达到该产业的严格规章。如果大数据被高效的运用,卫生保健服务供应者可以揭示一些不易察觉的见解以提升患者护理质量。
制造业
有着大数据可以提高的见解,制造业可以在减少浪费的同时提高质量和产量——这是一个在当今高度竞争市场上的重要一个关键过程。越来越多的制造商正在处于一个可以更快的解决的问题和快速做出商业决策。
零售
在零售业建立客户关系是重要的一部分——而最好办法就是管理大数据。零售商需要知道向客户推销的最好方式,处理交易的最有效方式以及让疲软的经济再次繁荣的最富有策略的方式,而大数据是所有的这些的核心。数据分析师培训
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析与建模中,“显性特征”(如用户年龄、订单金额、商品类别)是直接可获取的基础数据,但真正驱动业务突破的往往是 “ ...
2025-11-07在大模型(LLM)商业化落地过程中,“结果稳定性” 是比 “单次输出质量” 更关键的指标 —— 对客服对话而言,相同问题需给出一 ...
2025-11-07在数据驱动与合规监管双重压力下,企业数据安全已从 “技术防护” 升级为 “战略刚需”—— 既要应对《个人信息保护法》《数据安 ...
2025-11-07在机器学习领域,“分类模型” 是解决 “类别预测” 问题的核心工具 —— 从 “垃圾邮件识别(是 / 否)” 到 “疾病诊断(良性 ...
2025-11-06在数据分析中,面对 “性别与购物偏好”“年龄段与消费频次”“职业与 APP 使用习惯” 这类成对的分类变量,我们常常需要回答: ...
2025-11-06在 CDA(Certified Data Analyst)数据分析师的工作中,“可解释性建模” 与 “业务规则提取” 是核心需求 —— 例如 “预测用户 ...
2025-11-06在分类变量关联分析中(如 “吸烟与肺癌的关系”“性别与疾病发病率的关联”),卡方检验 P 值与 OR 值(比值比,Odds Ratio)是 ...
2025-11-05CDA 数据分析师的核心价值,不在于复杂的模型公式,而在于将数据转化为可落地的商业行动。脱离业务场景的分析只是 “纸上谈兵” ...
2025-11-05教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-05教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-04【2025最新版】CDA考试教材:CDA教材一级:商业数据分析(2025)__商业数据分析_cda教材_考试教材 (cdaglobal.com) ...
2025-11-04在数字化时代,数据挖掘不再是实验室里的技术探索,而是驱动商业决策的核心能力 —— 它能从海量数据中挖掘出 “降低成本、提升 ...
2025-11-04在 DDPM(Denoising Diffusion Probabilistic Models)训练过程中,开发者最常困惑的问题莫过于:“我的模型 loss 降到多少才算 ...
2025-11-04在 CDA(Certified Data Analyst)数据分析师的工作中,“无监督样本分组” 是高频需求 —— 例如 “将用户按行为特征分为高价值 ...
2025-11-04当沃尔玛数据分析师首次发现 “啤酒与尿布” 的高频共现规律时,他们揭开了数据挖掘最迷人的面纱 —— 那些隐藏在消费行为背后 ...
2025-11-03这个问题精准切中了配对样本统计检验的核心差异点,理解二者区别是避免统计方法误用的关键。核心结论是:stats.ttest_rel(配对 ...
2025-11-03在 CDA(Certified Data Analyst)数据分析师的工作中,“高维数据的潜在规律挖掘” 是进阶需求 —— 例如用户行为包含 “浏览次 ...
2025-11-03在 MySQL 数据查询中,“按顺序计数” 是高频需求 —— 例如 “统计近 7 天每日订单量”“按用户 ID 顺序展示消费记录”“按产品 ...
2025-10-31在数据分析中,“累计百分比” 是衡量 “部分与整体关系” 的核心指标 —— 它通过 “逐步累加的占比”,直观呈现数据的分布特征 ...
2025-10-31在 CDA(Certified Data Analyst)数据分析师的工作中,“二分类预测” 是高频需求 —— 例如 “预测用户是否会流失”“判断客户 ...
2025-10-31