京公网安备 11010802034615号
经营许可证编号:京B2-20210330
你,正在看这篇文章吗?
从你阅读的第一眼开始,你的网页浏览时间、IP位置、网页点击数、搜寻过的字眼、手机耗电量、信用卡消费记录,甚至今天是否去看牙医、公司大楼的电梯运转情况,所有没发生或在发生的事件都正被记录更新着;而且对于许多想了解你的他人或企业而言,你所留下的数据轨迹比起你本人,更能代表你。
千禧年之后,我们的数据社会开始了天翻地覆的巨变。当经济走到停滞之际,网络科技,却持续出现不停进化的机会与价值;如今要面对未来,个人与社会都不再处于被动与等待的姿态,很幸运地我们走到了这个时代,足以见证「大数据」对于「预测未来」的广泛影响,其中有乐观的想像与预期的讨论,也有反思与限制的深究;不一定要具科技专业背景或身处大规模企业,透过这篇文章俐落踏实的解释与探讨,轻易地就唤起我们对自身处境一点一滴的敏感度;而今年同事们在选书会议桌上所激起的各种意见与讨论,都表达出了我们确实深切地感受,数据知识与我们生活的连动性与新转变。
把时间转回2000年,当时全球数据有3/4仍是以纸张、胶卷与黑胶唱片等有形类比方式储存,其余1/4属于数位形式储存的数据;然而进展到2007年,全世界大约只剩下7%数据为类比形式,其他全为数位化数据!数据成长速度与转换之快,宣示全球正式迈入大数据的时代,我们不得不重新分析看待这些数据,数据量已从「量」发生「质」的改变,像是重获新生般,成为新商业生产塬料、以及重要的经济资源投入,进而创造出新形式的经济价值──当这些数据开始说话时,可以告诉我们的事情包罗万象,像是:
.可以知道机票何时买最划算。(出国旅行)
.亚马逊比你更早知道你喜欢哪本书。(网络购物)
.从汽车烤漆的颜色就知道这辆车的故障率高低。(买二手车)
.教师可以从某节课程被点阅的次数了解学生的问题所在。(网络教学)
.从Twitter上讯息的情感倾向来预测未来盘势。(投资操盘)
.Google将比公家卫生机关更早预测流感的爆发时间与地点。(掌握疫情)
.从追踪早产儿的生命徵象,预测是否会爆发感染。(新生儿健康)
事实就是,我们早已深陷在紧密交织的网状数据世界中。
开始拥抱杂乱、抛下成见,我们理解与探索世界的方式,将一步步改变
要坦然面对大数据的潮流,从数据提炼有意义的效用,首要就是必须抛下一些旧有的执着。开宗明义就为读者说明及温习叁种新思维:「样本等于母体」、「不求精准」,以及「不求因果」。前两项思维意味着,数据多比起品质好更重要。当能够拥有的数据已极大化,抽样的确就不再必要,更毋需锱铢计算精准,而有错过全貌的风险!一旦我们容忍且拥抱杂乱的数据,就会发现在西洋棋、文法校正上的电脑技术之所以有更多进展,是因为系统里有了更多残局应对与棋步分析的数据、及高达十亿的字汇输入量,这些数据远远胜过晶片技术或演算方法上的调整。
最后,也更为重要的思考逻辑,就是一切改由「相关性」来观察或作决策。以往「打破砂锅问到底」的坚持,也许不再那么合乎时宜,比如想知道机票票价,毋须想像航空公司定价策略;想知道什么商品会卖,也不用知道顾客口味喜好,只要将大数据交付相关分析,就能知道哪些指标能显示机票将上涨、顾客会买单。我们不需对某现象先提出具体假说,只要靠着相关性,能让研究结果减少偏见,我们对事物的观察也能更快、更清楚。
藉由预测模型与大数据的辅助,要成功不再困难
一旦改为数据导向来作决策,影响会非常深远,那些多半掺杂直觉、主观或个人猜测的理念想法,将可以藉由预测模型与大数据的辅助,预测究竟是否可行;如同电影《魔球》故事里比利跳脱出传统球探的评价方式,放胆改用充满数据分析新观点来经营球队,这些都指明了,想在职场上成功,需要的技能正在改变。如果需借助更多知识或经验进行判断,我们将多了数据作为最有验证力的老师,就算跨领域,照样可以提出最好的建议!世界出现越来越多公开分享的数据,其中蕴藏了不少价值金矿;如书中所阐述,从免费的政府的气象数据,结合企业航班数据,就能发现航班延误的相关天气数据,与直觉相反地,比起下雪航班更容易受到起雾影响而停飞!有想法的企业、组织、个人或是政府,只要愿意透过大数据思维来与世界互动,都更容易预见并掌握价值,创造出能唿应人性的创新;那些过去曾被认为是效率或既定的方式,也可能全面翻转。
然而,自由意志与数据独裁,究竟孰轻孰重?
眺望大数据的发展,似乎勾勒出科技统治一切的万能预示,这是否等于否定了人性的自由意志与人类潜能?大数据的黑暗面─那些我们可能遭遇到许多道德相关的议题,像是应该完全接受与个人意见相左的统计裁定吗?成功可预测,那么犯罪机率也可以喊贼先抓人吗?人永远是过去行为的囚徒吗?虽听来骇人,但预先思索有其必要性,毕竟时间不会停止,科技与数据发展仍继续无声的前进,现在并没有简单的方法,让所有人能够完全准备好迎接大数据世界;我们确实需要新的准则,让社会熟悉并准备,要如何使用这项科技,将决定了人类的种种机制与自身将朝哪个方向改变。只要心态与思维正确,我们依然能够巧妙的重复运用这些数据,不断带来创新和不同的服务。
大数据在这个时代诞生,是极为强大一种工具与资源,然而,它代表的是通知并非解释,是相关非因果。大数据的脉络与对社会、经济、科学与个人无所不在的影响,没有一厢情愿的乐观迷恋或盲目信仰,而是为我们目前处境解释、回溯过去我们所走的路,并针对前方种种危机与转机,提供指引。大数据时代下,人类自主掌握的空间与能力,因为科技而宽广深入,今年,我们肯定大数据揭示的重要价值,进而认识大数据的视角观点,或多或少地将我们生活、工作、思考与行动里可能有意义、有趣的交会点显影出来!这是场新挑战,更是个好机会,去作足准备、以最好的方式迎接未来。
本文来源:中国大数据
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析、业务监控、质量检测与风险管控工作中,数据波动性是衡量数据稳定性、业务健康度、结果可信度的核心依据。数据波动代 ...
2026-08-18很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当导致 ...
2026-08-18在数据分析、业务评价、产品评级、用户分层与综合决策场景中,单一指标往往无法全面、客观地评价事物整体水平。现实中的评价对象 ...
2026-08-18在数理统计、假设检验、数据分析与机器学习领域中,卡方分布(χ²分布)是继正态分布、t分布之后最重要的连续型概率分布之一。 ...
2026-08-17在Python数据清洗、文本校验、账号密码规则校验、脏数据过滤、字符串规整化处理中,正则表达式是最高效、最常用的文本匹配工具。 ...
2026-08-17 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-08-17手游行业具备用户迭代快、竞争激烈、用户粘性易流失的典型特征。随着新游持续上线、玩家审美升级、玩法疲劳等问题出现,存量用户 ...
2026-08-14在数字化产品运营、商业数据分析、业务增长管理中,零散的指标统计无法支撑系统性的业务决策。单一的点击率、转化率、销量数据只 ...
2026-08-14 很多数据分析师每天都在写SQL,但当被问到“数据查询语言(DQL)的本质是什么”“SELECT语句中各子句的书写顺序与实际执行顺 ...
2026-08-14在数据库数据分析、数据清洗、报表统计与业务查询场景中,日期时间是最高频、最核心的基础字段。数据库中存储的日期格式多样,包 ...
2026-08-13在数据统计分析与数据清洗工作中,箱线图是一种简洁高效、客观性强的数据可视化图表,能够直观呈现数据集的分布特征、离散程度和 ...
2026-08-13 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-08-13在自动化办公、数据采集、定时统计、日志清理、系统监控等场景中,程序往往需要按照固定时间间隔重复执行指定任务,这种运行机制 ...
2026-08-12在数据分析日常工作中,Excel数据筛选是数据清洗、数据提取、样本筛选的核心基础操作。传统Excel手动筛选、函数筛选方式,面对多 ...
2026-08-12 很多数据分析师精通Excel函数和数据透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么 ...
2026-08-12在数据分析、统计建模、数据挖掘与商业调研过程中,原始数据往往无法做到绝对干净规整。受系统故障、人工录入失误、设备误差、突 ...
2026-08-11在数据分析工作中,聚类分析是典型的无监督学习方法,核心作用是依据数据自身的多维特征,将相似样本自动划分为若干类别,实现“ ...
2026-08-11 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-11AB实验是互联网产品迭代、营销优化、功能升级的核心科学验证手段,通过流量随机分组、对照组与实验组对比,科学验证策略、功能、 ...
2026-08-10在MySQL数据库优化中,索引是提升查询效率、降低数据库IO开销、优化系统性能的核心手段。普通单列索引仅适配简单查询场景,面对 ...
2026-08-10