
大数据是指互联网时代数码化的数据超高速增长的现象。数据大只是量的概念,而“数码化”是质的变化。数码化数据可以用电脑高速处理。数码相机取代了胶卷相机就是因为它可以实时地用电脑芯片处理数据而生成照片和映像。这种变革是划时代的,它改变了一个产业。
数码化的数据除了量大(Volume)以外,它积累的速度(Velocity)更是惊人。积累的方式已不是过去的批量式而是源源不断的数据流。 数据的产生也是多源化(Variety)的。采集手段包括手机、传感器、电脑、扫描器、监测仪等。数据形态包括数字、文字、声音、照片、影视等。这种从现 实生活中产生的实时数据具有很大的噪音(Voracity)。既有传统的有结构数据,更有大量半结构和无结构数据。
大数据为何重要?
不管你承认与否,大数据已成为现代生活的现实,而且在改变着我们的思维和行为方式。当你在互联网上购买一本书时,你会同时收到网站给你推荐的另 几本书。这就是供应商在背后应用大数据的方法对其他成千上万购买同一本书的群体进行比较分析后的结果。被推荐的书正是该群体最常买的相关书籍。
大数据的处理技术使我们能做过去认为做不到的事情。中国人的治学境界是要“破万卷书,行万里路”。今天用电脑“看”数码化的书,破万卷书是轻而一举的事。
大数据实时处理多媒体、多渠道提供的数码化数据的能力正在改变我们的生活。正在兴起的远程医疗就是一例。在病人家中安装监测仪定时采集医疗数 据,病人用智能手机自我检查的结果等数据可以实时地传送给医院。医护人员可根据实时电子病历进行诊断、治疗和护理。这些不断积累的电子病历又经过数据挖掘 而产生新的信息和智能,促进医护服务质量的改进和提高。
大数据对传统统计学提出了挑战的同时也创造了机遇。以概率为基础的抽样统计的理念是以尽可能 小的随机样本来推测总体的状态和行为。我们必须先设计调查问卷,再进行数据采集、清理、分析以形成报告。这个过程很长,数据采集费用高, 而能回答的问题又受问卷的限制。这就产生了抽样统计的不治之症:慢、少、贵。即使行政统计,也都是用预制表格采集有结构数据。大数据的理念是对现代生活中 通过多种渠道和手段源源不断得到的半结构、无结构的数码化的数据进行处理、挖掘和分析而产生信息。它是实时或接近实时的数据处理,寻找的是相关性而不是因 果性,回答的问题不受问卷和表格的限制。
如果说抽样统计和行政统计是统计1.0,我们可以把包括大数据的统计研究叫做统计2.0。统计1.0的数据是有结构的样本和行政数据。而统计 2.0的数据还要加上无结构或半结构的、从现实生活中通过多种渠道获得的数码化数据。从这个意义上讲,大数据为解决传统统计“慢、少、贵”的顽症提供了新 的可能性。
大数据与现代信息技术
近年来信息技术的快速发展促进了大数据时代的到来。
首先,海量数据的高速处理必须解决传统数据处理的瓶颈问题:数据库需要一个一个排起队来处理。搜索一个数据库可以瞬时完成,但搜索50个,上百 个数据库,即使再快的电脑也需很长时间。网上搜索引擎巨头公司如雅虎(Yahoo)和谷歌(Google)即率先研发应用以Hadoop为代表的数据分散 组合处理技术。这种技术的核心理念是把搜索50个数据库的任务分散到50台电脑服务器上同时进行,然后把所有搜索结果组合后反馈给用户,大大加快了数据处 理速度。
第二,由于大数据处理(如Hadoop)技术需要大量的硬件投资和专业人员的维护,大部分公司和政府部门都无力承担其费用。云计算使得资源共享成为可能,因而大大降低了大数据技术应用的成本,推动了大数据发展的进程。
第三,大数据处理过程中需要组合多源数据。而我们知道数据库有多种(如:Oracle, SQL, 等),它们之间在数据结构、定义等各方面是不匹配的。近年来以XML语言为基础的数据整合技术(Data Mashup)的发展和成熟使实时的网上现场多源数据整合成为可能,为大数据时代的到来扫除了一个障碍。
第四,海量数据处理和分析的结果常常是分散和杂乱的。如何使数据分析结果变成简明易懂的信息是大数据产生价值的关键。近年来方兴未艾的数据可视 化技术(Data Visualization)上的创新和发展使以数据为基础的,实时的智能决策支持成为可能,为大数据时代开了绿灯。
美国大数据的应用现状
谷歌、亚马逊、沃尔玛、等大公司在应用大数据获得商业利益上取得了成功。这些公司的共同点是自己拥有数据而且起步早。由于前一段大数据热,为大 数据处理研发工具的一批新公司也获得了一定的成功。以提供大数据分析服务为目标的公司出现了一大批,但成功的很少。美国各级政府自奥巴马就任以来在开放数 据方面取得很大进展,但大多是行政数据,大数据应用的成功例子是凤毛麟角。
大数据高端分析人才(Data Scientist – 数据科学家)短缺。美国很多大学已开始设置数据科学家的课程和学位。传统统计学家很难接受大数据的新理念和掌握新的分析手段和技能。
由于缺少成功的分析模式,海量数据不能很快产生商业价值,对大数据产业的投资迅速降温。
保护个人隐私和权益仍是一个令人困惑的大问题,因为它涉及到道德、法律、和信息技术等多方面。
大数据的应用上也存在着很多潜在问题。大数据可以揭示大量相关性但很难确定那个是有意义的。一旦计算方法暴露,数据造假很容易。网络数据的回声 效应很强,很容易引起以讹传讹使错误信息快速升级和传播。用数据分析的方法把复杂的问题归结于一个简单的数字常常会产生误导的结论(如:计算特定字词出现 的次数来确定某人或事件的历史地位)。在数据整合方面的挑战更大。商场如战场,企业之间都要保护自己的数据,数据共享几乎不可能。政府部门之间也因责、 权、利上的冲突,以邻为壑,各自把持自己的数据。这不是技术问题,而是利益、政治、政策、法律和道德问题。
结语
大数据代表了信息时代发展的一个新趋势,其重要性和影响力不可低估。这一新工具为我们提供了认识和解决问题的新机遇和手段。但它不是能治百病的 万能药,也不能取代传统统计学和数据分析。比如,大数据可以对海量数据进行实时处理而发现大量的相关性但不能确定哪个相关性是最有意义的。而在科学研究和 智能决策的过程中, 一个可确定的因果关系比多个不可确定的相关性关系更重要和有意义。如果说抽样和行政统计(小数据)是点杀步枪,大数据则是扫射的机关枪。明智的指挥员知道 武器的性能和特点并能实行有效的火力配置去赢得战斗的胜利。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15在机器学习入门领域,“鸢尾花数据集(Iris Dataset)” 是理解 “特征值” 与 “目标值” 的最佳案例 —— 它结构清晰、维度适 ...
2025-10-15在数据驱动的业务场景中,零散的指标(如 “GMV”“复购率”)就像 “散落的零件”,无法支撑系统性决策;而科学的指标体系,则 ...
2025-10-15在神经网络模型设计中,“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少,模型可能 “欠拟合”(无法捕捉数据 ...
2025-10-14