京公网安备 11010802034615号
经营许可证编号:京B2-20210330
“大数据”的便利与“暴政”_数据分析师
对于大多数人来说,“大数据”还是一个陌生的术语,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点;瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半……
牛津大学教授维克多·梅耶-舍恩伯格在其新书《大数据》中说,这是一场“革命”,将对各行各业带来深刻影响,甚至改变我们的思维方式,但同时它也引发“数据暴政”的担忧。
1 商业:
提供“精准预测”
在一些公司、实验室和政府机构,“数据”被捧为21世纪新型“石油”或“黄金”。一些统计学家、物理学家和所谓的数据科学家从中获利丰厚,他们服务于大数据应用程序开发公司,“蓝色彼岸”便是其中之一。
“蓝色彼岸”成立于5年前,目前有85名员工。经理尤韦·魏斯介绍,公司利用自行开发的软件,分析超市刷卡记录、天气资讯、学校放假信息和交通报告等数据,为客户提供“精准预测”。他们的客户包括德国邮购业泰斗奥托集团和dm连锁药店。
魏斯说,“蓝色彼岸”的软件不仅能从单条信息中分析出更多内容,而且能发现信息间关联,对零售业极为有用,可以避免发货出错,最大限度降低库存成本。
例如,“蓝色彼岸”发现,某些日子里,一家超市连锁店的牛奶、巧克力棒和苹果的销量大幅上升,而这一时间恰好与附近一家青年旅社里一群学生的到来相吻合。于是,公司搜集邻近各州学校放假安排等资讯,利用软件计算出某一特定时间可能到来的学生人数。
再如,“蓝色彼岸”发现,如果遇到周三为节假日,其前后几天小孩不用上学,因此对面包片的需求量减少,“蓝色彼岸”的存货预订系统会自动做出相应调节。
此外,“蓝色彼岸”帮助dm连锁药店计算最合理的员工人数,并为每家分店提供销售预测报告。
奥托集团说,自从使用“蓝色彼岸”的软件,销售预测准确度提高20%到40%。它准备把该软件应用推广到公司运动品牌零售商SportScheck,并收购“蓝色彼岸”50%股权。
“大数据正在重塑整个经济,我们只是处于起步阶段,”魏斯说。
2医疗:
开启个性化治疗
位于柏林巴伯尔斯贝格地区的哈索·普拉特纳研究所(HPI)可能成为数以百万计癌症患者的希望。研究所二楼的计算机房常年保持低温,以免价值150万欧元的处理器过热。普通计算机只有1个处理器,但那里的每台计算机有40个处理器,运算速度是传统计算机的1000倍,甚至更快。
普拉特纳是全球最大的企业管理和系统化商务解决方案供应商“思爱普”(SAP)创始人,也是HPI赞助人。他介绍说,HPI的汉娜数据库技术始于一个名叫“Sanssouci DB”项目,由8个大学生创立,曾获得创新大奖,如今已成为“内存储处理”的代名词。
HPI负责人、数学家克里斯托弗·迈内尔认为,该技术不仅有广泛的商业前景,而且为癌症治疗提供机遇,“我们正站在个性化医疗的门槛上”。
迈内尔说,每一种肿瘤都不尽相同,这意味着同样的治疗方法对不同人会产生不同效果。目前,为了给患者制定有针对性的治疗方案,需花费数月破译其基因组。这并不奇怪,因为每个人有大约30亿个DNA“积木”。但在HPI“超级大脑”的帮助下,破译基因组只需要短短数秒。
此外,HPI的电脑可以从公共基因库中精选所有信息,为每一个患者寻找到最合适他症状的治疗方案。“目前,这种搜索配对过程还需花费数月时间,”迈内尔说。
曼彻斯特大学研究人员正在从事另一个“大数据”项目——帮助独居老人的“神奇地毯”。它看上去与普通地毯没有什么区别,但装有内置感应器记录老人的行动规律。如果有违正常规律,则意味着可能发生意外,“神奇地毯”会发出警报。
科学家们还做了相关衍生实验,比如在假肢上安装芯片和感应器,以达到预警效果。
3安全:
助力抓贼反恐斗黑客
在美国加州圣克鲁斯市一个地下车库,一名小偷正在撬车,却被几米开外正在一辆车里吃午餐的警察逮了个正着。这名警察并非“碰巧”出现在那里,而是根据一个计算机软件的推荐在此守株待兔。
过去两年里,这座城市的警察换班时,都会根据长官和软件发出的指示外出巡逻。该软件输入了警方所有数据,不断更新,用于计算何时何地可能发生夜盗、抢劫、偷车等犯罪行为,其中三分之二确实发生了。
这一软件由计算机专家乔治·莫勒和从事犯罪学研究的人类学家杰弗里·布兰廷汉姆联合编写,参照了预测地震余震的程序模式。圣克鲁斯警察局副局长史蒂夫·克拉克于2011年偶然得知这一创意,三人共同开展了一个测试项目。他们把圣克鲁斯市8年来的犯罪记录输入程序,再加上其他潜在相关数据,比如天气状况、公园资讯和公交线路等。
“起初,很多人持怀疑态度,包括我自己,”克拉克说,“但数据本身证明其确实有效。”据他介绍,使用犯罪预测系统一年后,夜盗案件减少11%,盗车案件减少8%,破案率大幅提升56%。
目前,圣克鲁斯整个警界都在使用犯罪预测系统,所有警察外出巡逻时都配备智能手机和接入预测系统的平板电脑。只要有机会,他们就会进入标识出的案发高概率区域,制止可能的犯罪行为。
莫勒和布兰廷汉姆后来成立公司,将“预警巡逻”软件推向全球,仅美国就有十几个城市的警察局是其用户,包括洛杉矶、波士顿和芝加哥。近日,克拉克前往英国肯特,指导当地警察局使用这一软件。
除警察局外,军队和情报机构也非常重视数据分析。比如,在搜寻本·拉丹的过程中,“大数据”就发挥了重要作用,正是数据库分析让调查人员把目光聚焦在巴基斯坦的阿伯塔巴德。
Splunk是情报界和军方炙手可热的软件供应商,总部设在旧金山一家旧香肠工厂里。不久前,在科技记者评出的全球最具创意的公司中,Splunk名列第5,而谷歌仅列第11位。
“空客A380的涡轮机在单次飞行中提供的数据相当于一个中等规模的计算机中枢,”Splunk产品部高级副总裁圭多·施罗德说。分析涡轮机提供的数据有助于最大程度降低燃油消耗,优化维修间隔期。
“安全领域是‘大数据’应用增长最快的领域之一,”施罗德说。除对付犯罪和恐怖主义外,Splunk的软件还能查明黑客攻击等网络犯罪。
4
个性化服务是“大数据”应用程序魅力所在。比如,如果有人在“脸谱”上表示“喜欢”某款牛仔裤,当他下次进入该店铺时,就可能收到店主给他发送的同品牌牛仔裤的打折信息。看起来,这对零售商和消费者都有好处,但主张保护数据隐私的人却认为,“大数据”理念其实与“专制独裁”没有区别。
为消除人们顾虑,许多公司强调他们收集、储存、分析数据都是“匿名”,但事实上可能并非如此。在线期刊《科学报道》近期一项研究显示,每个人有自己的行动模式,95%的人可能被识别。普林斯顿计算机科学家阿尔温德·纳拉亚南在其博客上说,可供分析的数据越多,就越不可能保持“匿名”,识别一个人只要33个字节的信息量。
纽约广告商奥美的调查显示,75%受访者表示不希望企业存储个人数据,90%反对企业追踪自己的上网记录。
在现代社会,一个更加迫切的问题是:人们是否真的愿意接受一个“数字驱动经济”的世界?在这个世界里,数据分析能预测你的孩子在学校表现如何,他将来适合怎样的工作,谁有多大几率犯罪或得癌症,电视台和唱片公司能根据预测迎合观众或听众的口味……但在这个一切都计算好的世界里,创意、灵感和惊喜在哪里?
互联网哲学家叶夫根尼·莫罗佐夫对许多“大数据”应用程序背后的意识形态提出尖锐批评,警告即将发生“数据暴政”。他提出,那些“大数据”应用程序应当接受独立审计人定期审查,以防权力滥用。
“大数据”行业巨头谷歌的一次不经意行为,显示了人们对“数据暴政”的警惕。谷歌董事长埃里克·施密特说,公司在2010年曾闪过这样一个玩笑想法:通过数据分析预测股票价格,但后来放弃了,因为公司高管认为,这可能不合法。
但他没有说,这是不可能的。 ·唐昀·
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
一、什么是预测式发货 预测式发货(Anticipatory Shipping)是亚马逊于2013年12月获得授权的一项美国专利(专利号 US 8,615,473 ...
2026-10-14一、SQL在金融量化体系中的定位 量化投资的本质是用数据驱动决策,而数据处理贯穿量化研究的全生命周期。从原始行情数据清洗、因 ...
2026-10-14第一章:数据分析思维 考点1:VUCA时代的特点 引入军事领域的概念VUCA,来阐述当前及未来社会的特点 VUCA 时代是一个兼具易变 ...
2026-10-14CDA数据分析师 出品 作者:李诗怡 四层结构 · 零件与房子 · 六大易错点 一、什么是指标体系 定义:指标体系是整套完整框架 ...
2026-10-13写在开头 先还原一个你大概率见过的场面。 立项会上有人说:我们得做用户画像。 于是团队关进会议室,白板写满便利贴,两小时后 ...
2026-10-13 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-10-13在统计学与数据分析研究中,相关性分析分为数值变量分析与分类变量分析两大类。针对身高、销量、分数等连续数值变量,通常采用皮 ...
2026-10-12在Power BI可视化分析体系中,常规表格仅能展示枯燥的数值数据,存在数据对比不直观、强弱规律不突出、维度交叉分析低效等问题。 ...
2026-10-12 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-10-12在传统零售行业同质化竞争激烈、大众营销转化率持续走低的背景下,依托经验与直觉的粗放式营销逐渐失效。美国塔吉特百货(Target ...
2026-10-10随着智能客服、数字化服务、用户精细化运营的快速普及,传统零散、非标准化的客户服务数据与业务体系逐渐难以支撑高效服务治理。 ...
2026-10-10 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-10-10CDA数据分析师 出品 作者:李诗怡 定义区别 · 场景举例 · 指标分类 · 计算方法 知识体系总览 模块 包含内容 一、核 ...
2026-10-09在数据分析工作流中,业务数据大多存储在各类关系型数据库内,例如MySQL、PostgreSQL、SQLite等。Pandas是Python生态中主流的数 ...
2026-10-09在数字化精细化运营时代,海量用户存在需求差异、行为差异、价值差异与偏好差异。如果企业采用“一刀切”的统一营销、统一服务、 ...
2026-10-09 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-10-09指标体系是企业数字化分析、业务监控、经营决策的核心基础框架,是将零散数据转化为可衡量、可对比、可落地业务价值的关键体系。 ...
2026-10-08随着市场竞争日趋饱和,同质化低价竞争逐渐陷入内卷僵局,传统以价格、渠道、促销为核心的营销模式边际效益持续递减。在此背景下 ...
2026-10-08 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-10-08你有没有想过,手机里点外卖、刷社交软件、转一笔账,背后到底是谁在替你"记着账"? 答案其实很简单:数据库,以及跟它对话的那 ...
2026-10-07