京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据 正经历成长的烦恼
提起大数据,很多人都感觉略知一二;但大数据到底是什么,又很少有人能解释清楚。今年两会期间,包括小米科技创始人雷军、联想集团董事长杨元庆、科大讯飞董事长刘庆峰在内的多位代表、委员都提出了与大数据相关的建议和提案,他们一方面希望从国家层面推动大数据的发展,另一方面也对它在信息安全方面可能存在的隐患提出了警示。
大数据记录了所有一切
一份调查显示,2013年我国产生的数据总量超过0.8ZB,相当于2009年全球的数据总量;而到2020年,一个普通中国家庭每年产生的数据量,将相当于半个国家图书馆的信息储量。
中国电子学会秘书长徐晓兰委员指出,海量的信息储存和挖掘,既是大数据的价值所在,也是它有别于传统互联网、可能对信息安全带来的新隐患。
“大数据时代,记录了很多以往根本不可能或者不需要记录的数据,比如微博、朋友圈的内容,上网产生的cookie,家庭水电气使用的情况、汽车和大型设备上安装的传感器拿到的数据等。”社交数据分析公司独到科技的CEO张文浩说,“如果这些信息都是‘孤岛’,影响可能不大。但一旦相互关联,影响力会大得惊人。”
中科院信息工程所所长田静委员也表示,以往碎片化的数据只是盲人摸象,但现在这些碎片全都被存贮起来,通过相关性分析拼凑,“就知道象到底长什么样了”。
技术上的差距,也造成了大数据暂时的“不安全”。
“没有自己的分析能力,我们怎么能搞清楚哪些数据是需要保护的?”
对于田静的这个“问题”,国家信息化专家咨询委员会副主任、中国工程院院士邬贺铨提供的一组数据给出了答案——数据中,大约有一半是应该保护的,但我们现在真正保护的“只有一半的一半”,很多数据在有意或无意当中被获取,“如果这些数据整合起来,被某些别有用心的人利用,会对安全造成很大的影响”。
徐晓兰介绍,目前我国很多机构和企业使用大数据分析软件都是国外厂商生产的,特别是近几年视频等多媒体数据爆炸性增长,“这些数据都是异构化的,这部分软件是我们的短板”。
著名军事专家尹卓委员则指出,现在互联网所使用的服务器大都放在美国,“自己没有服务器怎么可能安全”?
另一方面,在田静看来,缺乏大数据环境下的安全理念也是重要原因之一。“过去认为无害的信息,在数据爆炸的今天,已经完全不一样了。观念不改,是没有秘密可保的。”
张文浩也认为,国人缺乏这方面的意识。“在美国,很多人都会要求不公开自己的隐私,或者主动把自己的数据提供给某些特定的机构使用;但在国内几乎没有听到过,大家也不知道什么类型的数据可能会有多大的风险。”
大数据或许也很“危险”
张文浩认为,很多人对于大数据的理解都只注意到数据的体量和统计,“其实,通过深度分析,从纷繁的数据中抽象出规则和原理,并实现对未来的前瞻性预测,才是大数据真正的价值和魅力所在”。
因为大数据,奥巴马在2012年成为过去70年来,第一位在失业率高达7.4%的情况下成功连任的美国总统;因为大数据,Target超市“预测”了18岁少女的怀孕……
任何一项新技术的背后,都可能悬挂着一把达摩克利斯之剑。大数据也是如此,在人们惊叹于它的“神力”之时,“威胁”也正悄悄逼近。
“前两年,国外一家情报搜集机构利用国内某机构人员公开发表的数据和资讯,进行深度挖掘分析,生成了有价值的情报。”徐晓兰告诉记者,后来经过详细调查,确认情报确实不是该人员提供,而生成情报的那些数据本身也是可公开的。“这在以往几乎是不可能的,也给我们敲响了警钟。”
尹卓以战时的交通流量信息举例说,如果不注重数据的安全使用,将可能对国家安全带来隐患。“科索沃战争中,南联盟的油料库虽然隐蔽得很好,但美国军方通过对卫星图中的交通流量进行分析,划定了大量油罐车经常出没的区域,在进行精确搜寻,从而一举炸毁。”
如果您认为这些“危险因素”离自己很远,那就大错特错。
“现在很多智能手机的应用都要求访问通讯录,”邬贺铨说,很多人觉得自己没有什么秘密,就同意了。“但实际上,这不仅会透露自己的大量信息,也会把很多人置于隐私暴露的危险之下 。”
张文浩也指出,现在很多年轻人都有用手机发微博或者“签到”的习惯,“这样其实会泄漏自己的很多信息。比如你白天经常签到的位置就很有可能是你的单位,傍晚以后签的多半是自己家”。
大数据正经历成长的烦恼
“要想征服数据,只有更好地利用它们。”张文浩说,数据是一种资源和财富,积累越多,产生的效力也会越大。
这个观点得到了邬贺铨的认同。他认为,越想规避大数据带来的安全风险,越需要搜集储存海量的数据,并进行深入的挖掘分析。“有统计显示,国内数据搜集量不及日本的60%和北美的7%,大量数据留这样白白流逝。”
“企业掌握的数据毕竟有限,而且是局部的。”百度公司董事长李彦宏委员提出了数据开放的概念,国家应该把那些不涉及安全的数据公开,让有能力的机构进行更好的分析利用。
国家基础地理信息中心原总工程师李莉委员指出,有的公共部门掌握了大量公共信息,这些数据是国家基础信息的重要组成部分。邬贺铨强调,这些数据“不愿与其他部门共享,导致了信息不完整或重复投资”。
共享数据在技术上是否存在很大的难度?在徐晓兰看来,现在需要大力发展的数据挖掘、分析方面的技术,但对于数据共享本身而言,技术不是最大的障碍,关键还是利益协调。她说几年前,国土部和银监会准备摸底国家土地信息,“一开始很多人提出各种各样的困难,几乎认为是不可能完成的任务。但后来引入问责等行政手段,得到地方配合,进行得就很顺利”。
张文浩认为,建立一个公开、透明、规范的数据市场,将会大大增强数据的利用率。但在这个过程中,需要仔细考量什么样的数据可以进入市场。
这就涉及到立法的问题。“界定‘隐私’和为数据进行安全分级,是制定法律法规时要优先考虑的方面。”他指出,“个性化服务和隐私之间是一个博弈。名字、电话、住址……不能什么都说是隐私,因此需要为数据安全分级。简单地说,通过数据分析的经验,我们会知道哪类信息具有更强的指向性和排他性。这类信息的安全级别就应该更高。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在分类变量关联分析中(如 “吸烟与肺癌的关系”“性别与疾病发病率的关联”),卡方检验 P 值与 OR 值(比值比,Odds Ratio)是 ...
2025-11-05CDA 数据分析师的核心价值,不在于复杂的模型公式,而在于将数据转化为可落地的商业行动。脱离业务场景的分析只是 “纸上谈兵” ...
2025-11-05教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-05教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-04【2025最新版】CDA考试教材:CDA教材一级:商业数据分析(2025)__商业数据分析_cda教材_考试教材 (cdaglobal.com) ...
2025-11-04在数字化时代,数据挖掘不再是实验室里的技术探索,而是驱动商业决策的核心能力 —— 它能从海量数据中挖掘出 “降低成本、提升 ...
2025-11-04在 DDPM(Denoising Diffusion Probabilistic Models)训练过程中,开发者最常困惑的问题莫过于:“我的模型 loss 降到多少才算 ...
2025-11-04在 CDA(Certified Data Analyst)数据分析师的工作中,“无监督样本分组” 是高频需求 —— 例如 “将用户按行为特征分为高价值 ...
2025-11-04当沃尔玛数据分析师首次发现 “啤酒与尿布” 的高频共现规律时,他们揭开了数据挖掘最迷人的面纱 —— 那些隐藏在消费行为背后 ...
2025-11-03这个问题精准切中了配对样本统计检验的核心差异点,理解二者区别是避免统计方法误用的关键。核心结论是:stats.ttest_rel(配对 ...
2025-11-03在 CDA(Certified Data Analyst)数据分析师的工作中,“高维数据的潜在规律挖掘” 是进阶需求 —— 例如用户行为包含 “浏览次 ...
2025-11-03在 MySQL 数据查询中,“按顺序计数” 是高频需求 —— 例如 “统计近 7 天每日订单量”“按用户 ID 顺序展示消费记录”“按产品 ...
2025-10-31在数据分析中,“累计百分比” 是衡量 “部分与整体关系” 的核心指标 —— 它通过 “逐步累加的占比”,直观呈现数据的分布特征 ...
2025-10-31在 CDA(Certified Data Analyst)数据分析师的工作中,“二分类预测” 是高频需求 —— 例如 “预测用户是否会流失”“判断客户 ...
2025-10-31在 MySQL 实际应用中,“频繁写入同一表” 是常见场景 —— 如实时日志存储(用户操作日志、系统运行日志)、高频交易记录(支付 ...
2025-10-30为帮助教育工作者、研究者科学分析 “班级规模” 与 “平均成绩” 的关联关系,我将从相关系数的核心定义与类型切入,详解 “数 ...
2025-10-30对 CDA(Certified Data Analyst)数据分析师而言,“相关系数” 不是简单的数字计算,而是 “从业务问题出发,量化变量间关联强 ...
2025-10-30在构建前向神经网络(Feedforward Neural Network,简称 FNN)时,“隐藏层数目设多少?每个隐藏层该放多少个神经元?” 是每个 ...
2025-10-29这个问题切中了 Excel 用户的常见困惑 —— 将 “数据可视化工具” 与 “数据挖掘算法” 的功能边界混淆。核心结论是:Excel 透 ...
2025-10-29在 CDA(Certified Data Analyst)数据分析师的工作中,“多组数据差异验证” 是高频需求 —— 例如 “3 家门店的销售额是否有显 ...
2025-10-29