京公网安备 11010802034615号
经营许可证编号:京B2-20210330
更多的数据会带来更好的决定
在「大数据」时代的很多领域流传着这样一句谚语:如果你拥有的数据越多,那么所能做出的决定就会更加得精准。那么在现实生活中真的是这样吗?又或者如我过去所指出的,我们现在所获得的分析比以前更没有代表性吗?
一个非常典型的例子就是全球肥胖率,让我们意识到拥有更多的数据,甚至是实时数据,如果没有意愿或者没有足够毅力和耐力采取实际行动那么这些数据的价值是微乎其微的。当代的普通市民从未像现在一样存在足够多的方式来监控健康的方方面面。联网体重秤在每天清晨能够记录我们的体重;智能手机端的条形扫描能够记录我们消耗的每个卡路里;心率传感器和血氧传感器能够每隔几秒监控我们的剧烈运动;计步器能够追踪你的步数;从血压计到葡萄糖计的大量其他医疗设备都能传达关乎我们健康生活的精准数据。而这个不断膨胀的市场甚至出现了要求血液和基因测试的产品。
那么为什么在这些能够频繁接触各种健康监测设备的国家内肥胖率却不断刷新历史最高记录?我们只需要点几下鼠标就能基于最近几天的锻炼方式和每天记录的体重变化来提供独立个体的理想卡路里摄入,但是为何这些精准的数据无法转换成为完美的健康哪?这是一个非常值得深思的问题,我们正激发出「庞大的创新力」来发掘欺诈设备的各种方式,而不是将它们作为工具来改善我们的健康。
问题是访问这些数据并非简单地等同于充分利用这些数据。正如我在今年三月份所指出的,美国政府不乏庞大的精细数据,但是缺乏处理数据的专业技能和授权并将所有的数据转换到具体措施。一家典型的美国服装公司通常具备庞大的数据监测从 T 恤开始缝的第一针开始到 T 恤被消费者购买并带出商店的整个过程的运作。而问题是如何将这些复杂的数据串联整合起来用于解决商业挑战
我所接触的太多公司和机构都视「大数据」孵化和数据分析是充满神奇力量的解决方案,简单地认为只需要获得足够多的数据能够立即推动现有的业务。近年来多家公司疯狂投资物理和数字传感器并尝试和现有业务进行融合,然而他们都还没有搞清楚所有这些数据希望能够解答什么样的问题,且在这样匆忙地部署传感器到现有公司生态系统中是否会产生盲点等等。事实上,这种情况已经在社会多媒体分析领域存在,我经常能够看到公司凭借令人难以置信的高分辨率社交媒体地理上来映射社会观点,与此同时却忽略了在这些地图上依然处于黑暗中的地区,创建了其他分析师在其他分析渠道从未关注的盲区。
在数据社区存在这样一种共识:充足的数据就像是一锅粥,而噪声和偏见就像老鼠屎能够破坏整锅粥的味道。而问题是当我们不断往锅中投入食材(数据),整锅粥并不会因此重新回归到正确的味道,反而会增强偏见的存在。在这样的情况下,小型且更平衡的数据池或许可以散发出更迷人的香气。事实上,正是这种信念在庞大的数据面前催生出纠正导致情感分析领域迷失所有弊端的能量。
信息过载同样也是驱动迫使人类朝人工智能(AI)聊天机器人发展的重要因素。当企业争夺越来越多的大数据,他们已经不再能够在庞大的显示器面前简单地挖掘包含数千项指标的所有数据。他们需要人工智能来对所有数据进行筛选并总结预判事物未来的走向。
事实上,昨天华盛顿邮报刊登了极具震撼力的新闻报道,当医生被接二连三的自动警报淹没的时候那些在医院接受治疗的患者却承受了极大的痛苦。在未来电子医疗记录系统将会聚合不断发展的详尽医疗指标,通过减少医疗错误的精准算法让接近于无限次的合理交互和丰富的领域知识储备逐渐成型。换言之,你可以设想乘坐一辆无人驾驶汽车在繁忙的城市街道穿行,那么人类驾驶员可以幸福地不去关注车辆前方有什么东西,无人驾驶汽车的丰富传感器能够避免数千种潜在危险并预估实际上可能会产生什么后果。以医疗警报为例,合法警报容易在大量的误报中丢失,那么同样可以引申这样的观点–大部分网络安全警报容易在合法却不恰当的流量上丢失。
综上所述,或许大数据今后的焦点应该更少的集中在通过任意部署来收集越来越多的数据,而是更多的聚焦到如何筛选能够反应所提问题的小型辅助数据流上。又或者随着人工智能的成熟,在未来能够竞争应付无限庞大的数据并解决处理所有的问题。在文章的最后,给企业的一点建议是必须更少的依赖数据收集而应该花费更多的时间和精力去深挖如何对数据进行分析。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据分析师一天的工作,80% 的时间围绕表格结构数据展开。从一张销售明细表到一份完整的分析报告,表格结构数据贯穿始终。但你真 ...
2026-04-16在机器学习无监督学习领域,Kmeans聚类因其原理简洁、计算高效、可扩展性强的优势,成为数据聚类任务中的主流算法,广泛应用于用 ...
2026-04-16在机器学习建模实践中,特征工程是决定模型性能的核心环节之一。面对高维数据集,冗余特征、无关特征不仅会增加模型训练成本、延 ...
2026-04-16在数字化时代,用户是产品的核心资产,用户运营的本质的是通过科学的指标监测、分析与优化,实现“拉新、促活、留存、转化、复购 ...
2026-04-15在企业数字化转型、系统架构设计、数据治理与AI落地过程中,数据模型、本体模型、业务模型是三大核心基础模型,三者相互支撑、各 ...
2026-04-15数据分析师的一天,80%的时间花在表格数据上,但80%的坑也踩在表格数据上。 如果你分不清数值型和文本型的区别,不知道数据从哪 ...
2026-04-15在人工智能与机器学习落地过程中,模型质量直接决定了应用效果的优劣——无论是分类、回归、生成式模型,还是推荐、预测类模型, ...
2026-04-14在Python网络编程、接口测试、爬虫开发等场景中,HTTP请求的发送与响应处理是核心需求。Requests库作为Python生态中最流行的HTTP ...
2026-04-14 很多新人学完Python、SQL,拿到一张Excel表还是不知从何下手。 其实,90%的商业分析问题,都藏在表格的结构里。 ” 引言:为 ...
2026-04-14在回归分析中,因子(即自变量)的筛选是构建高效、可靠回归模型的核心步骤——实际分析场景中,往往存在多个候选因子,其中部分 ...
2026-04-13在机器学习模型开发过程中,过拟合是制约模型泛化能力的核心痛点——模型过度学习训练数据中的噪声与偶然细节,导致在训练集上表 ...
2026-04-13在数据驱动商业升级的今天,商业数据分析已成为企业精细化运营、科学决策的核心手段,而一套规范、高效的商业数据分析总体流程, ...
2026-04-13主讲人简介 张冲,海归统计学硕士,CDA 认证数据分析师,前云南白药集团资深数据分析师,自媒体 Python 讲师,全网课程播放量破 ...
2026-04-13在数据可视化与业务分析中,同比分析是衡量业务发展趋势、识别周期波动的核心手段,其核心逻辑是将当前周期数据与上年同期数据进 ...
2026-04-13在机器学习模型的落地应用中,预测精度并非衡量模型可靠性的唯一标准,不确定性分析同样不可或缺。尤其是在医疗诊断、自动驾驶、 ...
2026-04-10数据本身是沉默的,唯有通过有效的呈现方式,才能让其背后的规律、趋势与价值被看见、被理解、被运用。统计制图(数据可视化)作 ...
2026-04-10在全球化深度发展的今天,跨文化传播已成为连接不同文明、促进多元共生的核心纽带,其研究核心围绕“信息传递、文化解读、意义建 ...
2026-04-09在数据可视化领域,折线图是展示时序数据、趋势变化的核心图表类型之一,其简洁的线条的能够清晰呈现数据的起伏规律。Python ECh ...
2026-04-09在数据驱动的时代,数据分析早已不是“凭经验、靠感觉”的零散操作,而是一套具备固定逻辑、标准化流程的系统方法——这就是数据 ...
2026-04-09长短期记忆网络(LSTM)作为循环神经网络(RNN)的重要改进模型,凭借其独特的门控机制(遗忘门、输入门、输出门),有效解决了 ...
2026-04-08