
大数据 正经历成长的烦恼
提起大数据,很多人都感觉略知一二;但大数据到底是什么,又很少有人能解释清楚。今年两会期间,包括小米科技创始人雷军、联想集团董事长杨元庆、科大讯飞董事长刘庆峰在内的多位代表、委员都提出了与大数据相关的建议和提案,他们一方面希望从国家层面推动大数据的发展,另一方面也对它在信息安全方面可能存在的隐患提出了警示。
大数据记录了所有一切
一份调查显示,2013年我国产生的数据总量超过0.8ZB,相当于2009年全球的数据总量;而到2020年,一个普通中国家庭每年产生的数据量,将相当于半个国家图书馆的信息储量。
中国电子学会秘书长徐晓兰委员指出,海量的信息储存和挖掘,既是大数据的价值所在,也是它有别于传统互联网、可能对信息安全带来的新隐患。
“大数据时代,记录了很多以往根本不可能或者不需要记录的数据,比如微博、朋友圈的内容,上网产生的cookie,家庭水电气使用的情况、汽车和大型设备上安装的传感器拿到的数据等。”社交数据分析公司独到科技的CEO张文浩说,“如果这些信息都是‘孤岛’,影响可能不大。但一旦相互关联,影响力会大得惊人。”
中科院信息工程所所长田静委员也表示,以往碎片化的数据只是盲人摸象,但现在这些碎片全都被存贮起来,通过相关性分析拼凑,“就知道象到底长什么样了”。
技术上的差距,也造成了大数据暂时的“不安全”。
“没有自己的分析能力,我们怎么能搞清楚哪些数据是需要保护的?”
对于田静的这个“问题”,国家信息化专家咨询委员会副主任、中国工程院院士邬贺铨提供的一组数据给出了答案——数据中,大约有一半是应该保护的,但我们现在真正保护的“只有一半的一半”,很多数据在有意或无意当中被获取,“如果这些数据整合起来,被某些别有用心的人利用,会对安全造成很大的影响”。
徐晓兰介绍,目前我国很多机构和企业使用大数据分析软件都是国外厂商生产的,特别是近几年视频等多媒体数据爆炸性增长,“这些数据都是异构化的,这部分软件是我们的短板”。
著名军事专家尹卓委员则指出,现在互联网所使用的服务器大都放在美国,“自己没有服务器怎么可能安全”?
另一方面,在田静看来,缺乏大数据环境下的安全理念也是重要原因之一。“过去认为无害的信息,在数据爆炸的今天,已经完全不一样了。观念不改,是没有秘密可保的。”
张文浩也认为,国人缺乏这方面的意识。“在美国,很多人都会要求不公开自己的隐私,或者主动把自己的数据提供给某些特定的机构使用;但在国内几乎没有听到过,大家也不知道什么类型的数据可能会有多大的风险。”
大数据或许也很“危险”
张文浩认为,很多人对于大数据的理解都只注意到数据的体量和统计,“其实,通过深度分析,从纷繁的数据中抽象出规则和原理,并实现对未来的前瞻性预测,才是大数据真正的价值和魅力所在”。
因为大数据,奥巴马在2012年成为过去70年来,第一位在失业率高达7.4%的情况下成功连任的美国总统;因为大数据,Target超市“预测”了18岁少女的怀孕……
任何一项新技术的背后,都可能悬挂着一把达摩克利斯之剑。大数据也是如此,在人们惊叹于它的“神力”之时,“威胁”也正悄悄逼近。
“前两年,国外一家情报搜集机构利用国内某机构人员公开发表的数据和资讯,进行深度挖掘分析,生成了有价值的情报。”徐晓兰告诉记者,后来经过详细调查,确认情报确实不是该人员提供,而生成情报的那些数据本身也是可公开的。“这在以往几乎是不可能的,也给我们敲响了警钟。”
尹卓以战时的交通流量信息举例说,如果不注重数据的安全使用,将可能对国家安全带来隐患。“科索沃战争中,南联盟的油料库虽然隐蔽得很好,但美国军方通过对卫星图中的交通流量进行分析,划定了大量油罐车经常出没的区域,在进行精确搜寻,从而一举炸毁。”
如果您认为这些“危险因素”离自己很远,那就大错特错。
“现在很多智能手机的应用都要求访问通讯录,”邬贺铨说,很多人觉得自己没有什么秘密,就同意了。“但实际上,这不仅会透露自己的大量信息,也会把很多人置于隐私暴露的危险之下 。”
张文浩也指出,现在很多年轻人都有用手机发微博或者“签到”的习惯,“这样其实会泄漏自己的很多信息。比如你白天经常签到的位置就很有可能是你的单位,傍晚以后签的多半是自己家”。
大数据正经历成长的烦恼
“要想征服数据,只有更好地利用它们。”张文浩说,数据是一种资源和财富,积累越多,产生的效力也会越大。
这个观点得到了邬贺铨的认同。他认为,越想规避大数据带来的安全风险,越需要搜集储存海量的数据,并进行深入的挖掘分析。“有统计显示,国内数据搜集量不及日本的60%和北美的7%,大量数据留这样白白流逝。”
“企业掌握的数据毕竟有限,而且是局部的。”百度公司董事长李彦宏委员提出了数据开放的概念,国家应该把那些不涉及安全的数据公开,让有能力的机构进行更好的分析利用。
国家基础地理信息中心原总工程师李莉委员指出,有的公共部门掌握了大量公共信息,这些数据是国家基础信息的重要组成部分。邬贺铨强调,这些数据“不愿与其他部门共享,导致了信息不完整或重复投资”。
共享数据在技术上是否存在很大的难度?在徐晓兰看来,现在需要大力发展的数据挖掘、分析方面的技术,但对于数据共享本身而言,技术不是最大的障碍,关键还是利益协调。她说几年前,国土部和银监会准备摸底国家土地信息,“一开始很多人提出各种各样的困难,几乎认为是不可能完成的任务。但后来引入问责等行政手段,得到地方配合,进行得就很顺利”。
张文浩认为,建立一个公开、透明、规范的数据市场,将会大大增强数据的利用率。但在这个过程中,需要仔细考量什么样的数据可以进入市场。
这就涉及到立法的问题。“界定‘隐私’和为数据进行安全分级,是制定法律法规时要优先考虑的方面。”他指出,“个性化服务和隐私之间是一个博弈。名字、电话、住址……不能什么都说是隐私,因此需要为数据安全分级。简单地说,通过数据分析的经验,我们会知道哪类信息具有更强的指向性和排他性。这类信息的安全级别就应该更高。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Python HTTP 请求工具对比:urllib.request 与 requests 的核心差异与选择指南 在 Python 处理 HTTP 请求(如接口调用、数据爬取 ...
2025-09-12解决 pd.read_csv 读取长浮点数据的科学计数法问题 为帮助 Python 数据从业者解决pd.read_csv读取长浮点数据时的科学计数法问题 ...
2025-09-12CDA 数据分析师:业务数据分析步骤的落地者与价值优化者 业务数据分析是企业解决日常运营问题、提升执行效率的核心手段,其价值 ...
2025-09-12用 SQL 验证业务逻辑:从规则拆解到数据把关的实战指南 在业务系统落地过程中,“业务逻辑” 是连接 “需求设计” 与 “用户体验 ...
2025-09-11塔吉特百货孕妇营销案例:数据驱动下的精准零售革命与启示 在零售行业 “流量红利见顶” 的当下,精准营销成为企业突围的核心方 ...
2025-09-11CDA 数据分析师与战略 / 业务数据分析:概念辨析与协同价值 在数据驱动决策的体系中,“战略数据分析”“业务数据分析” 是企业 ...
2025-09-11Excel 数据聚类分析:从操作实践到业务价值挖掘 在数据分析场景中,聚类分析作为 “无监督分组” 的核心工具,能从杂乱数据中挖 ...
2025-09-10统计模型的核心目的:从数据解读到决策支撑的价值导向 统计模型作为数据分析的核心工具,并非简单的 “公式堆砌”,而是围绕特定 ...
2025-09-10CDA 数据分析师:商业数据分析实践的落地者与价值创造者 商业数据分析的价值,最终要在 “实践” 中体现 —— 脱离业务场景的分 ...
2025-09-10机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04