
大数据发展谨防"一哄而上" 警惕大数据应用陷阱
作为近几年来最热门的网络概念之一,大数据在多个领域的落地显示出其巨大优势,如出行类APP在城市中为用户提供快速的车辆调度,又如谷歌智能系统阿尔法围棋在人机围棋大战中获胜。然而大数据应用喜忧参半亦是事实,曾作为大数据具备革命性潜力证明的谷歌流感趋势近几年的预测结果并不尽如人意。
大数据是否被过度热炒?现行大数据分析是否可靠?这些疑问在大数据已作为国家战略被写进“十三五”规划纲要的当下迫切需要得到解答。北京大学国家发展研究院教授沈艳在接受海外网专访时强调,在明确大数据局限性和可行性的基础上,大数据产业才能够扎实发展。
警惕大数据应用陷阱
尽管大数据的定义见仁见智,但其海量的数据规模、动态的数据体系、多样的数据类型等是业界的共识。沈艳表示,大数据能够以前所未有的精细度描画世界,如运用得当,能够帮助人们快速刻画新旧经济更替,给予产业发展方向以可视化指导,并为政府决策提供参考。
但是,大数据应用也面临陷阱,沈艳表示,“有一种看法认为,有了大数据就有了总体,就不再需要科学抽样了。”这种“大数据自大”倾向之所以值得警惕,一方面在于,数据反映的信息可能只是总体的一部分;另一方面,总体可能会在时间推移中发生变化。例如,“使用谷歌搜索流感相关信息的用户”和“美国流感人群”这个总体并不完全重合,因此用后者预测流感趋势存在先天不足。
陷阱的出现与大数据的收集方式息息相关。沈艳指出,传统数据或者来自问卷调查,或者即便是经营活动留下的数据,也往往有规范标准,使得数据含义前后可比。而大数据更多是生产经营等各类活动的附属产品,当服务于主营业务的系统架构不断变化,数据生成规律将随之变化。而数据分析方很可能对此全然不知或不能深刻体会,沿用以往的分析方法,就很容易产生结论的偏差。
分析大数据需要人才
“当新技术来临,尤其是面对经济新旧转型,我们迫切需要新的增长点,很容易未经深究就相信新技术的力量。但实际上只有在清晰地知道它各种各样局限的基础上,我们才能去用它。”这是沈艳对当前大数据运用的看法。
对比美国大数据产业图景(分为架构、分析、应用三部分),沈艳发现,“十三五”规划中大数据战略的内容集中在架构和应用部分,比如加快政府数据开放共享,进行海量数据采集、存储、清洗、分析发掘、可视化等领域关键技术攻关。
她指出,应加强对大数据分析的重视,包括回归问题本源,进行数据可行性分析等,也表示并非所有企业都有能力进行大数据分析。“数据分析具有门槛,要防止一哄而上、不管是否适合自己都要赶上潮流。”沈艳坦言,即便没有遵循科学规范的分析方法,一些大数据产品也能够在一定程度上解决问题,但是其商业模式是否真正可行、是否能够持续很难确认。而且若导致重要领域出现问题,可能产生重大损失。
而目前的一大桎梏是大数据分析人才的紧缺。沈艳认为,人才培养触及产业健康发展的核心,大数据发展亟须既懂关键技术又懂专业领域的跨界人才。此外,国家还需对决策者和民众有相应的培训投入。
采访中,沈艳仍然对大数据前景充满信心,她期待大数据产业帮助中国的新经济成长起来,让中国持续成为世界经济的引擎。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
基于 SPSS 的 ROC 曲线平滑调整方法与实践指南 摘要 受试者工作特征曲线(ROC 曲线)是评估诊断模型或预测指标效能的核心工具, ...
2025-08-25神经网络隐藏层神经元个数的确定方法与实践 摘要 在神经网络模型设计中,隐藏层神经元个数的确定是影响模型性能、训练效率与泛 ...
2025-08-25CDA 数据分析师与数据思维:驱动企业管理升级的核心力量 在数字化浪潮席卷全球的当下,数据已成为企业继人力、物力、财力之后的 ...
2025-08-25CDA数据分析师与数据指标:基础概念与协同逻辑 一、CDA 数据分析师:数据驱动时代的核心角色 1.1 定义与行业价值 CDA(Certified ...
2025-08-22Power Query 移动加权平均计算 Power Query 移动加权平均设置全解析:从原理到实战 一、移动加权平均法的核心逻辑 移动加权平均 ...
2025-08-22描述性统计:CDA数据分析师的基础核心与实践应用 一、描述性统计的定位:CDA 认证的 “入门基石” 在 CDA(Certified Data Analy ...
2025-08-22基于 Python response.text 的科技新闻数据清洗去噪实践 在通过 Python requests 库的 response.text 获取 API 数据后,原始数据 ...
2025-08-21基于 Python response.text 的科技新闻综述 在 Python 网络爬虫与 API 调用场景中,response.text 是 requests 库发起请求后获取 ...
2025-08-21数据治理新浪潮:CDA 数据分析师的战略价值与驱动逻辑 一、数据治理的多维驱动引擎 在数字经济与人工智能深度融合的时代,数据治 ...
2025-08-21Power BI 热力地图制作指南:从数据准备到实战分析 在数据可视化领域,热力地图凭借 “直观呈现数据密度与分布趋势” 的核心优势 ...
2025-08-20PyTorch 矩阵运算加速库:从原理到实践的全面解析 在深度学习领域,矩阵运算堪称 “计算基石”。无论是卷积神经网络(CNN)中的 ...
2025-08-20数据建模:CDA 数据分析师的核心驱动力 在数字经济浪潮中,数据已成为企业决策的核心资产。CDA(Certified Data Analyst)数据分 ...
2025-08-20KS 曲线不光滑:模型评估的隐形陷阱,从原因到破局的全指南 在分类模型(如风控违约预测、电商用户流失预警、医疗疾病诊断)的评 ...
2025-08-20偏态分布:揭开数据背后的非对称真相,赋能精准决策 在数据分析的世界里,“正态分布” 常被视为 “理想模型”—— 数据围绕均值 ...
2025-08-19CDA 数据分析师:数字化时代的价值创造者与决策智囊 在数据洪流席卷全球的今天,“数据驱动” 已从企业战略口号落地为核心 ...
2025-08-19CDA 数据分析师:善用 Power BI 索引列,提升数据处理与分析效率 在 Power BI 数据分析流程中,“数据准备” 是决定后续分析质量 ...
2025-08-18CDA 数据分析师:巧用 SQL 多个聚合函数,解锁数据多维洞察 在企业数据分析场景中,单一维度的统计(如 “总销售额”“用户总数 ...
2025-08-18CDA 数据分析师:驾驭表格结构数据的核心角色与实践应用 在企业日常数据存储与分析场景中,表格结构数据(如 Excel 表格、数据库 ...
2025-08-18PowerBI 累计曲线制作指南:从 DAX 度量到可视化落地 在业务数据分析中,“累计趋势” 是衡量业务进展的核心视角 —— 无论是 “ ...
2025-08-15Python 函数 return 多个数据:用法、实例与实战技巧 在 Python 编程中,函数是代码复用与逻辑封装的核心载体。多数场景下,我们 ...
2025-08-15