京公网安备 11010802034615号
经营许可证编号:京B2-20210330
“大数据”的便利与“暴政”_数据分析师
对于大多数人来说,“大数据”还是一个陌生的术语,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点;瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半……
牛津大学教授维克多·梅耶-舍恩伯格在其新书《大数据》中说,这是一场“革命”,将对各行各业带来深刻影响,甚至改变我们的思维方式,但同时它也引发“数据暴政”的担忧。
1 商业:
提供“精准预测”
在一些公司、实验室和政府机构,“数据”被捧为21世纪新型“石油”或“黄金”。一些统计学家、物理学家和所谓的数据科学家从中获利丰厚,他们服务于大数据应用程序开发公司,“蓝色彼岸”便是其中之一。
“蓝色彼岸”成立于5年前,目前有85名员工。经理尤韦·魏斯介绍,公司利用自行开发的软件,分析超市刷卡记录、天气资讯、学校放假信息和交通报告等数据,为客户提供“精准预测”。他们的客户包括德国邮购业泰斗奥托集团和dm连锁药店。
魏斯说,“蓝色彼岸”的软件不仅能从单条信息中分析出更多内容,而且能发现信息间关联,对零售业极为有用,可以避免发货出错,最大限度降低库存成本。
例如,“蓝色彼岸”发现,某些日子里,一家超市连锁店的牛奶、巧克力棒和苹果的销量大幅上升,而这一时间恰好与附近一家青年旅社里一群学生的到来相吻合。于是,公司搜集邻近各州学校放假安排等资讯,利用软件计算出某一特定时间可能到来的学生人数。
再如,“蓝色彼岸”发现,如果遇到周三为节假日,其前后几天小孩不用上学,因此对面包片的需求量减少,“蓝色彼岸”的存货预订系统会自动做出相应调节。
此外,“蓝色彼岸”帮助dm连锁药店计算最合理的员工人数,并为每家分店提供销售预测报告。
奥托集团说,自从使用“蓝色彼岸”的软件,销售预测准确度提高20%到40%。它准备把该软件应用推广到公司运动品牌零售商SportScheck,并收购“蓝色彼岸”50%股权。
“大数据正在重塑整个经济,我们只是处于起步阶段,”魏斯说。
2医疗:
开启个性化治疗
位于柏林巴伯尔斯贝格地区的哈索·普拉特纳研究所(HPI)可能成为数以百万计癌症患者的希望。研究所二楼的计算机房常年保持低温,以免价值150万欧元的处理器过热。普通计算机只有1个处理器,但那里的每台计算机有40个处理器,运算速度是传统计算机的1000倍,甚至更快。
普拉特纳是全球最大的企业管理和系统化商务解决方案供应商“思爱普”(SAP)创始人,也是HPI赞助人。他介绍说,HPI的汉娜数据库技术始于一个名叫“Sanssouci DB”项目,由8个大学生创立,曾获得创新大奖,如今已成为“内存储处理”的代名词。
HPI负责人、数学家克里斯托弗·迈内尔认为,该技术不仅有广泛的商业前景,而且为癌症治疗提供机遇,“我们正站在个性化医疗的门槛上”。
迈内尔说,每一种肿瘤都不尽相同,这意味着同样的治疗方法对不同人会产生不同效果。目前,为了给患者制定有针对性的治疗方案,需花费数月破译其基因组。这并不奇怪,因为每个人有大约30亿个DNA“积木”。但在HPI“超级大脑”的帮助下,破译基因组只需要短短数秒。
此外,HPI的电脑可以从公共基因库中精选所有信息,为每一个患者寻找到最合适他症状的治疗方案。“目前,这种搜索配对过程还需花费数月时间,”迈内尔说。
曼彻斯特大学研究人员正在从事另一个“大数据”项目——帮助独居老人的“神奇地毯”。它看上去与普通地毯没有什么区别,但装有内置感应器记录老人的行动规律。如果有违正常规律,则意味着可能发生意外,“神奇地毯”会发出警报。
科学家们还做了相关衍生实验,比如在假肢上安装芯片和感应器,以达到预警效果。
3安全:
助力抓贼反恐斗黑客
在美国加州圣克鲁斯市一个地下车库,一名小偷正在撬车,却被几米开外正在一辆车里吃午餐的警察逮了个正着。这名警察并非“碰巧”出现在那里,而是根据一个计算机软件的推荐在此守株待兔。
过去两年里,这座城市的警察换班时,都会根据长官和软件发出的指示外出巡逻。该软件输入了警方所有数据,不断更新,用于计算何时何地可能发生夜盗、抢劫、偷车等犯罪行为,其中三分之二确实发生了。
这一软件由计算机专家乔治·莫勒和从事犯罪学研究的人类学家杰弗里·布兰廷汉姆联合编写,参照了预测地震余震的程序模式。圣克鲁斯警察局副局长史蒂夫·克拉克于2011年偶然得知这一创意,三人共同开展了一个测试项目。他们把圣克鲁斯市8年来的犯罪记录输入程序,再加上其他潜在相关数据,比如天气状况、公园资讯和公交线路等。
“起初,很多人持怀疑态度,包括我自己,”克拉克说,“但数据本身证明其确实有效。”据他介绍,使用犯罪预测系统一年后,夜盗案件减少11%,盗车案件减少8%,破案率大幅提升56%。
目前,圣克鲁斯整个警界都在使用犯罪预测系统,所有警察外出巡逻时都配备智能手机和接入预测系统的平板电脑。只要有机会,他们就会进入标识出的案发高概率区域,制止可能的犯罪行为。
莫勒和布兰廷汉姆后来成立公司,将“预警巡逻”软件推向全球,仅美国就有十几个城市的警察局是其用户,包括洛杉矶、波士顿和芝加哥。近日,克拉克前往英国肯特,指导当地警察局使用这一软件。
除警察局外,军队和情报机构也非常重视数据分析。比如,在搜寻本·拉丹的过程中,“大数据”就发挥了重要作用,正是数据库分析让调查人员把目光聚焦在巴基斯坦的阿伯塔巴德。
Splunk是情报界和军方炙手可热的软件供应商,总部设在旧金山一家旧香肠工厂里。不久前,在科技记者评出的全球最具创意的公司中,Splunk名列第5,而谷歌仅列第11位。
“空客A380的涡轮机在单次飞行中提供的数据相当于一个中等规模的计算机中枢,”Splunk产品部高级副总裁圭多·施罗德说。分析涡轮机提供的数据有助于最大程度降低燃油消耗,优化维修间隔期。
“安全领域是‘大数据’应用增长最快的领域之一,”施罗德说。除对付犯罪和恐怖主义外,Splunk的软件还能查明黑客攻击等网络犯罪。
4
个性化服务是“大数据”应用程序魅力所在。比如,如果有人在“脸谱”上表示“喜欢”某款牛仔裤,当他下次进入该店铺时,就可能收到店主给他发送的同品牌牛仔裤的打折信息。看起来,这对零售商和消费者都有好处,但主张保护数据隐私的人却认为,“大数据”理念其实与“专制独裁”没有区别。
为消除人们顾虑,许多公司强调他们收集、储存、分析数据都是“匿名”,但事实上可能并非如此。在线期刊《科学报道》近期一项研究显示,每个人有自己的行动模式,95%的人可能被识别。普林斯顿计算机科学家阿尔温德·纳拉亚南在其博客上说,可供分析的数据越多,就越不可能保持“匿名”,识别一个人只要33个字节的信息量。
纽约广告商奥美的调查显示,75%受访者表示不希望企业存储个人数据,90%反对企业追踪自己的上网记录。
在现代社会,一个更加迫切的问题是:人们是否真的愿意接受一个“数字驱动经济”的世界?在这个世界里,数据分析能预测你的孩子在学校表现如何,他将来适合怎样的工作,谁有多大几率犯罪或得癌症,电视台和唱片公司能根据预测迎合观众或听众的口味……但在这个一切都计算好的世界里,创意、灵感和惊喜在哪里?
互联网哲学家叶夫根尼·莫罗佐夫对许多“大数据”应用程序背后的意识形态提出尖锐批评,警告即将发生“数据暴政”。他提出,那些“大数据”应用程序应当接受独立审计人定期审查,以防权力滥用。
“大数据”行业巨头谷歌的一次不经意行为,显示了人们对“数据暴政”的警惕。谷歌董事长埃里克·施密特说,公司在2010年曾闪过这样一个玩笑想法:通过数据分析预测股票价格,但后来放弃了,因为公司高管认为,这可能不合法。
但他没有说,这是不可能的。 ·唐昀·
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在大数据时代背景下,海量行业数据亟需通过专业化工具挖掘潜在价值,辅助企业业务决策、优化运营模式、规避经营风险。Python凭借 ...
2026-08-28SQL是数据分析领域最基础、最核心的工具,承担着取数、清洗、统计、分层、归因的全流程工作。不同于单纯的语法练习,实战化SQL数 ...
2026-08-28 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-28随着新零售模式的快速普及,零售行业从传统的“货品驱动”全面转向“用户驱动”。门店交易数据、线上消费记录、浏览轨迹、复购频 ...
2026-08-27在数据分析、爬虫采集、接口开发、数据归档等场景中,JSON与CSV是两种使用率最高的数据存储格式。JSON为键值对结构化格式,适配 ...
2026-08-27 很多数据分析师每天都在计算指标、制作报表,但当被问到“什么叫指标数据元”“指标数据标准包含哪些核心维度”“指标数据质 ...
2026-08-27在数据分析工作中,时间序列是最常见的数据类型之一,订单时间、日志时间、交易时段、统计周期等数据均离不开时间处理。原始数据 ...
2026-08-26在数据分析与数据预处理工作中,原始数据普遍存在录入错误、系统故障、偶然极值等问题,极易产生异常数据。异常数据会严重干扰数 ...
2026-08-26 很多数据分析师能熟练写SQL、做透视表,但当被问到“数据是从哪里来的?经过哪些加工才进入数据仓库?ETL具体做了什么?”时 ...
2026-08-26在数理统计与数据分析领域,多因素方差分析与线性回归模型是研究变量关系、因素影响、数据差异规律的两大核心工具。二者均属于经 ...
2026-08-25数据分析的核心价值不在于数据计算与图表制作,而在于清晰、精准、有逻辑地输出结论、支撑业务决策。日常数据分析报告普遍存在结 ...
2026-08-25 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-08-25平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-08-24 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19