
大数据流通仍在“以物易物”_数据分析师
一个新兴产业发展到一定阶段,就很自然地会呼唤规则和标准。大数据亦不例外。
“一开始大家都想制定标准,但随着研究深入,我们发现,大数据产业距离较系统的标准出现,应该还有很长一段距离。”12月3日,工信部电信研究院互联网中心主任何宝宏在接受21世纪经济报道记者采访时表示。
何宝宏认为,打个比方来说,大数据处于原始社会阶段:没有数据贸易,没有通用的数据交易规则、交易平台、定价标准,甚至也没有数据的描述语言。现在刚刚出现最基础的“以物易物”,也就是两家公司最基础的、无公开规则的“点对点”数据交换。
“还在找原始共识”
《21世纪》:大数据标准制定一直是业界关注的问题,你能否介绍下目前大数据标准的进展情况?
何宝宏:标准,其实是由很多被广为认可的规范、共识形成的。大数据,还处于找共识的阶段,而且还是在找最原始的一些基本共识。
最初大家对大数据的概念都很模糊,可以说没有任何共识。大约两年前,企业大数据形成了第一个共识:数据是一种资产。这应该算是大数据在规范中迈出的第一步。而资产的价值在于流通,接下来,大家意识到:数据要发挥更大价值就必须流通、跨界,形成然后数据贸易。然而,贸易基于市场需求,贸易需要规则的支撑。
在探索大数据标准的时候,我们不得不一步步退到最基础、原始的状态去考虑。
最先被提出来的问题是:大数据的商业模式不清楚,没办法明确市场。然后是大数据无法定价,数据所有权不清楚,在讨论这个问题的时候,大家又发现:原来企业与企业之间都没有通用的数据描述方法。你描述自己的数据,别人听不懂这个数据有什么价值,别人讲自己的数据需求,你也不知道对应的是哪些数据。
比如同样是对一个人身份的描述数据,A企业的描述办法与B企业就可能完全不同。如果银行、运营商、电商同时提供同一个用户的数据,但这个用户的金融数据、电信消费行为数据、互联网消费数据等,可能根本就无法匹配,也就谈不上交换。
所以,我们只能再退回去,寻找数据、需求描述的通用语。每次深入研究,大家就后退一步,当然是为了更好地前进一步。可以说,整个标准的研究过程,是一个扎扎实实的后退、寻找最原始东西的过程,从而不断前进的过程。
《21世纪》:如果把现在这种原始状态定义为一个阶段,在这个阶段应该形成的标准是什么?或者说计划取得哪些成果?
何宝宏:现在的大数据有点像原始社会的“以物易物”阶段,大多发生在企业的点对点交易,都是把数据进行统计性的加工处理,然后互换,数据现在还没有形成产品,也没有出现稳定的交易形态和定价模式。
企业需要想办法去描述自己有什么数据,需要什么数据,就像“我有一头牛”、“我需要一只羊”。但现实是,很可能你描述的“牛”别人根本不知道是什么。通过企业点对点的交易,我们希望能找到“通用语”,企业之间也就是数据、需求的表述方法。
然后建立一个交流平台,大家都在这个平台上发布自己有什么数据,描述这些数据的价值是什么,未必交易,就像是资产的公示。同样,这个平台上,企业也可以发布自己对数据的需求。
至于定价和交易规则,都应该是这个平台建立之后的事。在这些基础上,不断丰富不同领域、不同行业、不同商品属性的共识。
应建设数据交流平台
《21世纪》:目前企业愿意在这个平台上展示自己的数据么?可能一些企业更想寻找需求,而非展示自己的数据,都想保密。
何宝宏:发布需求,也需要先寻找通用语,也需要先建立平台。
无论企业如何探索自己的商业模式,有一点是大家都认同的:大数据市场,必须先形成规范。这是开展标准的基础,我们会在这个基础之上,形成更多企业、行业、更多领域的共识。
《21世纪》:目前企业之间的数据交换细节是否清楚?有哪些做得比较好的案例?
何宝宏:交换都是私下进行的,我们也不了解细节,但形成了哪些共识,这个是可以知道的。
做得比较好的是广告联盟。因为互联网生存的基础就是广告,很多年前就开始进行交换数据,有目的性地做了一些数据交换的工作,但也只是特定目的数据的交换,只适用于广告这个行业。当然,交换的不是原始数据,而是统计和处理后的。
《21世纪》:国外诸如芝加哥等城市建设了详尽的政府数据开放平台。国内做得怎么样?政府数据开放是否更容易形成规范?
何宝宏:企业数据属于市场资源,是商业活动中产生的,最后也必然要形成交易。但政府数据属于公众资源,是纳税人的资源,应该开放,而且是免费向全社会开放。
国内的很多政府部门的不少数据都是开放的,不过目前开放的效率不是很高。我们正在推动一些政府部门打造高效的数据开放平台,规范数据开放的工具、格式,方便机器可读,方便用户使用。
政府数据开放之后,也有利于大数据产业的研究,进而推动企业数据市场的标准、法律法规的完善。
“卖原始数据”是一锤子买卖
《21世纪》:现在的数据交换会涉及到用户隐私泄露么?
何宝宏:不会。企业都只会把原始数据加工处理,不会让对方看到用户原始信息。能够交易的是统计的结果,肯定不是原始数据,这也算是一种共识了。
《21世纪》:企业都强调把保护用户隐私放在首位,但怎样在用户面前更有说服力?
何宝宏:其实,你应该换个角度来想。如果你手里有一些很值钱的数据,你愿意直接卖掉这些数据么?肯定会先处理的吧,原始数据只能卖一次。但把数据留着自己手里,只交易统计结果,这样原始数据就能持续产生价值。用户原始数据,肯定是企业的核心,没有哪个企业会做“卖原始数据”这种一锤子买卖。
从利益角度来讲,用户不用担心,大企业会想方设法保护自己的核心价值和声誉的。
《21世纪》:目前有没有关于用户隐私的法律、法规?大数据时代是否需要重新考虑这个问题?
何宝宏:2013年通过了《电信和互联网用户个人信息保护规定》。这里规定了用户个人信息的范畴,包括姓名、出生日期、身份证件号码、住址、电话号码、账号和密码,以及使用服务的时间、地点等信息。并且规定了信息收集规范、安全保障措施、监督检查、以及法律责任。
不过,应该说该规定还不太适应大数据的发展需求,可能需要完善、调整。比如,目前规定的焦点是信息采集,规定哪些数据涉及隐私不许采集,什么情况下不允许采集,限制企业采集用户的电话号码等个人信息,并没有规范数据的使用方式。但在大数据时代,只关注信息采集是不够的。因为你不知道企业拿这些数据干什么。
现在的规定通过几十个限制条款,限制企业泄露用户的隐私数据。但是,随着大数据发展,用户隐私环境会越来越复杂、多样,描述一个人可能有上千个维度,立法能把这上千个维度都禁止了么?你禁止了100个,通过另外900个仍然可以精确描出用户画像。
如果把所有的维度都禁止了,那最后允许采集的数据会越来越少,企业也就没有资产了,更谈不上大数据市场了。限制数据的采集,最终也会限制大数据的发展,限制使用目的是关键。
《21世纪》:有没有什么调整的方案?
何宝宏:其实,大数据时代,隐私已经成为一个相对的概念。
用户访问互联网时,每天都会留下大量用户隐私。应该说目前行业内对大数据隐私的研究都还十分表面,跟行业需求是脱节的。世界经济论坛以前提过一个说法,或许更可行:应该允许信息的采集,但要严格用户信息的存储安全、使用规范。
《21世纪》:是不是国外的标准规范会更成熟一些?比如欧美国家?
何宝宏:确切来说,欧洲没有数据交易市场,欧洲的大数据发展很慢。
事实上,欧洲在计算机时代之前就已经有隐私立法,后来还设立了严格的数据保护法。这些立法最早肯定也是源于市场需求,但大数据时代,立法并没能与时代一同发展,反而滞后于市场需求,严重限制了欧洲的大数据发展。
从另一个角度也可以说,在大数据时代,我们的机会非常大
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15在机器学习入门领域,“鸢尾花数据集(Iris Dataset)” 是理解 “特征值” 与 “目标值” 的最佳案例 —— 它结构清晰、维度适 ...
2025-10-15在数据驱动的业务场景中,零散的指标(如 “GMV”“复购率”)就像 “散落的零件”,无法支撑系统性决策;而科学的指标体系,则 ...
2025-10-15在神经网络模型设计中,“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少,模型可能 “欠拟合”(无法捕捉数据 ...
2025-10-14在数字化浪潮中,数据分析师已成为企业 “从数据中挖掘价值” 的核心角色 —— 他们既要能从海量数据中提取有效信息,又要能将分 ...
2025-10-14在企业数据驱动的实践中,“指标混乱” 是最常见的痛点:运营部门说 “复购率 15%”,产品部门说 “复购率 8%”,实则是两者对 ...
2025-10-14在手游行业,“次日留存率” 是衡量一款游戏生死的 “第一道关卡”—— 它不仅反映了玩家对游戏的初始接受度,更直接决定了后续 ...
2025-10-13分库分表,为何而生? 在信息技术发展的早期阶段,数据量相对较小,业务逻辑也较为简单,单库单表的数据库架构就能够满足大多数 ...
2025-10-13在企业数字化转型过程中,“数据孤岛” 是普遍面临的痛点:用户数据散落在 APP 日志、注册系统、客服记录中,订单数据分散在交易 ...
2025-10-13在数字化时代,用户的每一次行为 —— 从电商平台的 “浏览→加购→购买”,到视频 APP 的 “打开→搜索→观看→收藏”,再到银 ...
2025-10-11在机器学习建模流程中,“特征重要性分析” 是连接 “数据” 与 “业务” 的关键桥梁 —— 它不仅能帮我们筛选冗余特征、提升模 ...
2025-10-11在企业的数据体系中,未经分类的数据如同 “杂乱无章的仓库”—— 用户行为日志、订单记录、商品信息混杂存储,CDA(Certified D ...
2025-10-11在 SQL Server 数据库操作中,“数据类型转换” 是高频需求 —— 无论是将字符串格式的日期转为datetime用于筛选,还是将数值转 ...
2025-10-10在科研攻关、工业优化、产品开发中,正交试验(Orthogonal Experiment)因 “用少量试验覆盖多因素多水平组合” 的高效性,成为 ...
2025-10-10在企业数据量从 “GB 级” 迈向 “PB 级” 的过程中,“数据混乱” 的痛点逐渐从 “隐性问题” 变为 “显性瓶颈”:各部门数据口 ...
2025-10-10在深度学习中,“模型如何从错误中学习” 是最关键的问题 —— 而损失函数与反向传播正是回答这一问题的核心技术:损失函数负责 ...
2025-10-09本文将从 “检验本质” 切入,拆解两种方法的核心适用条件、场景边界与实战选择逻辑,结合医学、工业、教育领域的案例,让你明确 ...
2025-10-09