大数据时代的技术与隐私_数据分析师

“大数据”是当今最热的概念之一，有人把大数据形容为未来世界的石油，有人宣称掌握大数据的人可以像上帝一样俯瞰整个世界，美国政府甚至已经把对大数据的研究上升为国家战略。喧哗的背后，实际上，随着信息与通讯技术的发展，“大数据”正进入与我们息息相关的每一个角落。近日，记者参加中国科协主办的第36期科学家与媒体面对面活动，采访相关专家，请他们畅谈了大数据时代的技术特色与隐私保护。

大数据是什么

故事一：无法完成的任务

大数据是一个时髦的新词，也是一个古老的现象。因为，对某个时代来说，超出当时社会信息处理能力的数据，就可以说是大数据。

以人类遇到的第一个大数据人口普查为例。中国在公元2年就有史书记载的人口普查数据（《汉书 地理志》）：全国103个郡国，人口是59594978人。对当时的古代中国来说，近六千万人口的普查无疑就是一个难以处理的大数据。美国宪法曾规定，美国人口普查十年一次。1880年开始，美国人花8年完成了一次人口普查，并预计1890年做下一次人口普查大概需要13年时间。也就是说，人口普查成为当时一项无法完成的任务。不过，危机常常带来新的技术革命。有人发明了穿孔卡片制表机，使得这个任务仅用一年时间就可以完成。穿孔卡片制表机就是今天计算机的前身。

“大数据不是今天就出现的，你对付不了的就是大数据。”工业和信息化部电信研究院互联网中心主任何宝宏说：“今天所说的大数据革命也是2008年之后，这5年来信息发生了翻天覆地的变化。大数据让物质世界变得可计算，这是整个人类的目标。”

无法完成的任务，带来的是前所未有的技术突破。如今，移动互联网、物联网、基因测序等采集数据的工具越来越多样化，使我们对物质世界的描述越来越精确，拥有的数据量越来越大；云计算等处理数据的工具越来越经济，又使得大数据的应用走入百姓身边，对我们的生产和生活方式产生深远的影响。

目前大数据最成熟的应用是互联网广告营销。近一年中，老百姓在搜索或者浏览网页时会发现，网上推出的广告越来越精确。这是因为互联网广告已经进入到完全自动、实时竞价的状态，通过对个人上网行为的分析，推导出这个人的性格特征和可能需要，并有针对性地投放广告。广告请求、竞价邀请、受众筛选、申请出价、中标投放的全过程，仅需120毫秒也就是0.12秒即可完成，而在传统媒体完成这样的工作，很可能需要几个月的时间。

互联网金融也是近一年的大热点，根基就是由于大数据技术的成熟。互联网金融在面对中小企业的贷款业务中，拥有独特的优势。据一份对中国互联网金融的调查报告显示，互联网金融对小微企业贷款时，不良贷款率仅为1.02%，单笔放款成本为2.3元；而传统银行对小微企业的贷款不良率为5.5%至6%，单笔成本达800元至2000元。这种低成本、低坏账率、全时服务（机器可以全天候开启）的金融服务，使广大中小企业变成了互联网金融的客户，可以解决小微企业贷款难的问题——这其实也是一个过去无法完成的任务。

大数据怎么用

故事二：不懂外语的翻译

百度公司发展研究中心副主任率鹏给记者讲了一个有趣的故事。“百度翻译”这个工具，目前已经提供了24种语言的自动翻译服务，翻译质量在行业中领先。“但这24种语言中有12种语言，整个百度翻译的团队没有人能懂。”率鹏说，“大数据的技术使我们完全在不了解、不懂得、不能够理解这种语言的情况下，仅仅靠技术本身就开发出一个非常好的翻译工具，这在以往的时代是难以想象的。”

不懂外语的外语翻译，这个听起来很天方夜谭的故事，其实精准反映了如今大数据技术的一大特点——不需要知道为什么，只需要知道是什么。

这个技术特点，是由如今大数据本身的特点决定的。中国通信学会副理事长兼秘书长张新生表示，大数据有四大特点：一是海量，大到“以目前的技术无法管理的数据量”；二是多样，数据种类复杂，非结构数据占到所存储数据总量的75%—95%，这些非结构数据无法以现在的技术手段与关系分析的数据库来处理；三是速度，数据产生的频率和传送频率非常快，需要进行实时处理；四是价值密度低，需从大量的低质量、低价值的数据中获取知识，犹如大海捞针，获取数据成本很高。

事实上，大数据还将越来越大。在过去两年中，全球产生的信息占到人类整体掌握信息总量的90%，现在每天全球产生的数据相当于国家图书馆馆藏总量的1500倍。而互联网数据中心IDC预测，到2020年全世界将有300亿个物联网终端。中国在这一市场上将占据至关重要地位，届时中国普通家庭将拥有40个到50个智能设备或传感器，每年创造出20TB的数据。而中国国家图书馆藏书是2631万册，信息量相当于41TB。也就是说，届时一个普通中国家庭每年产生的数据，就相当于半个国家图书馆。

我们如何才能不被大数据所淹没？

“大数据的核心重点在于深度挖掘，通过挖掘产生新的应用。”张新生表示，大数据的处理技术是一个工具，它有几个新特色：不再是小样本、随机样本，而要全体数据；接收数据有混杂性，不再追求精确性；关注事物之间的相关性，可以只知道是什么，不知道为什么；对所获数据可多次、反复利用，并可扩展，具有互用性，也就是未来可能知道为什么。

大数据产业也在变得越来越大。大数据的采集和传感、物联网领域有很大关联性；大数据的处理，又和云计算等产业相关；大数据的应用和医疗、金融等各个行业相关。未来将有越来越多企业发展成大数据企业。

“大数据应该是我们的战略性新兴产业中新一代信息技术重要的产业部分，和互联网产业、物联网产业、电信产业都有很大关联性。”中国联通网络技术研究院首席专家唐雄燕表示：“大数据本身和很多产业相关，现在可能已经有几千亿元的产业规模，将来会无处不在。大数据的从业者，未来也将不止是高科技人员，也会有很多蓝领。大数据是一个材料，和石油、矿藏一样，需要有采集数据的人员，需要有探矿的人员，各种各样的人都需要。”

大数据怎么管

故事三：应该保护的隐私

我国大数据应用面临着数据资源难以开放共享、数据安全和隐私急需保护、大数据技术创新人才不足等诸多挑战，其中个人隐私如何保护，是大众最为关注的问题。

事实上，真正好用的大数据技术，应该是用加工实现增值，用分析来指导决策，而非贩卖用户个性化隐私这种原始数据信息本身的低层次滥用。

中兴通讯首席架构师、业务总工程师罗圣美表示：“使用这些数据的企业，其实有两大类，一类是互联网企业，第二类是电信企业。企业有安全保护措施，有技术解决方案，做只针对群体，而不针对个体的信息挖掘，这是应遵循的基本原则。”

率鹏认为，在隐私保护问题上，大数据技术要重点强调符号化和用户特征这两个概念。“符号化，是当我们去识别一个用户时，用和他真实信息不相关的符号标记这个用户。符号通过算法来保证，是单向的识别，使我们能识别出两次登录的是同一个用户，却无法通过此符号反推出该用户在真实生活中的姓名、电话和住址，这就基本享受了大数据带来的优势，同时又规避了信息安全的风险。用户特征，是在大数据时代，企业感兴趣的往往是这个用户的特征，而不是家庭地址、电话号码真正敏感的信息。比如说，我希望知道你是一个20岁到30岁年龄段，生育过子女，有高等教育学历的女性，这些都是你的特征，但是我并不想知道你姓甚名谁，今年多大，有几个小孩。如果在数据使用过程中严格遵循符号化和用户特征原则，我们就能规避掉不良风险。”

除了技术以外，政策和立法才是大数据时代个人隐私保障的重要凭借。2012年12月28日，《全国人民代表大会常务委员会关于加强网络信息保护的决定》审议通过。2013年，工信部根据全国人大的决定，出台了关于互联网和电信网个人信息保护的条例，提出了数据保护的一系列要求。

数据需要保护，数据也需要交易。大数据的保护与交易需要遵循什么样的标准，是当前政策制定者面临的挑战。

张新生说：“有价值的数据是非常重要的资源，但前提是要建立交易规则。我国的几大互联网运营企业都在做大数据分析，并且都想把数据作为可交易的产品，这需要我们尽快建立数据交易有关的法律法规。”

何宝宏认为，目前的大数据分为两类。一类是公共数据，比如政府所掌握的数据，或者公益企业的数据，公共数据面临的是开放和共享的问题。一类是商业数据，商业性数据需交易，因为这是资产，交易产生新的价值。“标准和政策的制定是不断摸索的过程，需要随着市场去探索，我们已经深度地介入到关于目前国内数据交易的活动中，去探讨这方面的政策、标准制定。”

对于用户来说，提高信息安全意识、注意个人隐私保护也十分重要。不过，鉴于大数据时代个人隐私保护的困难程度，已有专家提出了“遗忘”的必要性。牛津大学教授、大数据领域权威专家维克托就在他的著作《删除》中表示，对于人类而言，遗忘一直是常态，而记忆才是例外。然而，由于数字技术与全球网络的发展，这种平衡已经被打破了。大量数字化的私人信息不仅可能在今天被滥用，在几年甚至几十年后仍然可能被滥用。

罗圣美说：“在大数据时代，建议国家相关部门在制定产业政策时，需要重点考虑涉及个人隐私的信息，采取删除、锁定，或者安全加密等多种级别的保密措施，避免个人隐私被检索、发现、滥用和扩散。