
大数据产业的结构化瓶颈及解决之道
1、大数据产业的结构化瓶颈
大数据转换为大价值是一个复杂的链条。复杂性既来自需求自身的高度分散和个性化,又来自满足需求过程所涉多样且相互依赖的环节。尽管IT能力是绕不开的环节,认为大数据就是Hadoop的阶段毕竟已过去了,现在大家都已经意识到更广泛的数据源是数据价值链的源头,越发重视外部数据的获取。大家正在意识到,大数据的应用场景如此广阔,没有哪一家供应商能保证现成的方案就能充分实现其潜力,所以各种创意大赛、算法大赛层出不穷。同时,创新的不确定性,又影响企业恰当地表达数据需求,尤其当数据来自其他行业时。
从供给侧来看,大数据时代真的要来了。数据资源、大数据处理技术平台、分析软件、应用算法曾经门槛很高的现在门槛大大降低。比如,大数据的处理和分析以前只有大型企业才有实力购买或部署,而今云服务则大大降低了门槛,中小企业也能快速具备相关能力。
然而,当需求方决定接受鼓动拥抱大数据时,很可能发现大数据与传统的IT项目没有什么不同,除非能够解决下面两个问题。
问题1-在数据价值链源头,数据作为新型生产要素尚不具备成熟的流通机制,这个社会正在快速数据化但数据远未社会化;
问题2-在数据价值链尾端,各类异质性要素需要有机整合才能输出价值,但目前还没有能够按照客户需求整合全要素的角色
当前,大数据要素升级已基本准备就绪,但传统IT产业的结构性瓶颈制约了大数据时代的真正到来。新的产业要素呼唤新的产业制度设计。
2、问题分析与破题思路
2.1 对数据流通问题的思考
回到问题1的原点,为什么数据需要流通?因为数据具有外部性,对其拥有者之外的主体存在广泛的使用价值。对外部性不同的预期,决定了不同的流通方式。政府希望尽可能多地释放外部性使其转化为社会福利,企业希望尽可能多地内化外部性使其转化为经济收益、资源收益和战略收益。类政府的诉求对应数据开放,经济收益对应数据交易,资源收益对应数据交换,战略收益对应数据共享。从长远来看,数据流通机制必将多元化,但目前由于各种原因,大部分数据源对直接获取经济收益更感兴趣。
本部分仅分析数据交易面临的问题。
数据交易的本质是采取市场化手段促进数据流通,而市场是通过价格发挥作用的。由于数据供给可以无限量0成本复制,影响数据定价的主要因素在需求侧。
当效用大于成本时交易才会发生,也就是说,只有需求方从某项数据中获取的价值大于为此付出的诸多成本时,定价才是有意义的。因此,任一数据的定价即购买成本应不高于[数据价值-(搜寻成本+交易成本+使用成本)].
与传统商品交易不同之处有二。一是数据本身缺乏内在一致的价值尺度,其价值取决于应用场景,即使同一数据的价值也可能是高度离散的,极端情况下正所谓此之毒药彼之蜜糖;二是很少有数据买来就直接能用,购买后的使用成本视场景不同差异很大,而这部分成本也应计算进来,因为它发生在价值兑现之前,是需求方购买决策的重要因素。因此我们可以把公式改写为:
价格≤(数据价值-使用成本)-(搜寻成本+交易成本)
前面的被减项很大程度上取决于数据使用场景,相关信息是形成市场价格的必要条件。这可能是数据交易机制无法顺畅运行的症结之一。数据源不了解需求方的使用场景,需求方不了解数据源需要经过怎么样的处理才能使用,双方都缺乏交易的欲望。在这种情况下,数据交易市场如果仅提供中介服务,是无法促进交易达成的,这可能也是数据交易暂未风行的重要原因。
后面的减数项则是一个中介的本分了,这个值做得越低越能促进数据流通。搜寻成本和交易成本可以发生在线上也可发生在线下,能在线上完成的都应在线上完成。可能有些交易市场担心把相关信息如数据目录都搬到线上后会被旁路,这是极其短视的看法。中介靠信息揽客但不是靠信息赚钱,赚钱的是高价值的增值服务。比如,交易成本除了显性的佣金,还包括信任成本、商务合作成本,等等,如果能够帮助客户降低这些成本,就是有价值的中介服务。
可见,要真正走通数据交易这个流通模式,需要从两方面着力降低客户获取数据价值的TCO,不是局限于简单的撮合。一是提供场景,在数据的供给方和需求方之外,引入更接近业务场景的第三方合作伙伴,从而掌握更多的定价信息;二是提供场所,着力提升平台自身的竞争力,在降低搜寻成本和交易成本上下工夫,比如扩大数据目录、优化查询工具、打消隐私顾虑等等。
2.2 对要素整合问题的思考
对于问题2,我们提出大数据全要素的概念。如上文所述可分为四类:数据要素是灵魂、IT要素是基础、创意要素是催化剂、服务要素是粘合剂。数据和创意要素的需求高度个性化、供给高度分散化,IT要素的需求相对标准化、供给相对集中化。服务要素中可以被标准化的都会被工具化、产品化为IT要素并最终移向云端,剩下难以标准化的本地服务,供给则趋向于分散化。
全部自家生产肯定不算整合,把别人家东西买回来放自家库房再卖出去的也不算整合。由于众所周知的原因,一些能力全面的大厂不可能涉足数据整合,而具备一定整合能力的互联网公司却暂不具备IT产品和服务交付能力。此类解决方案的灵魂不是对软硬件产品的了解,也不完全是行业经验丰富的专家,而是数据思维以及将正确的数据用正确的方式整合到正确的流程中的综合能力。
知易行难,这种能力看似是IT集成能力的升级,但由于四类要素之间迥然不同的性质和供需格局,传统的集成模式难以完成这一任务。可以把全要素整合者理解为一种新型集成商,但集成对象和集成方式发生了变化。在集成对象方面,从IT要素和服务要素扩展到数据要素和创意要素;在集成方式方面,从交钥匙工程的保姆式集成转变为平台模式,让多种个性化的要素与客户的个性化需求在同一平台对接。
四类要素,谁整合谁?第三方开发者也就是创意要素显然是被整合的对象,此外有两个可选项。
一种是BAT等坐拥数据金矿的整合各种IT服务商,云基础设施领先更是如虎添翼,但是它们再去整合其他数据资源却面临困难。阿里大肆收购各种行业B2B资产有两个目的,一是补充IT服务能力,二是瞄准了这些行业地头蛇能接触的行业数据,这种All-In的思路其实已经不是平台的玩法了。
另一种是有实力的大数据IT公司整合数据源。此类企业要整合数据源具有战略上的优势即中立性,同时具备战术上的劣势即如何启动平台的正循环。国内IT公司在云计算方面较落后,即使有优秀的产品能力仍无法集约化高效提供,但最大的挑战可能还是从IT思维到数据思维、从集成思维到平台思维的转变。
2.3 合二为一的破题思路
不难发现,问题1和问题2其实相互进入了对方的范畴。要建立全要素整合模式(问题2),绕不开数据要素的整合,这种整合不是传统的集成,而是构建一个流通平台(问题1)。要建立数据交易模式(问题1),必须破解数据定价难题,全要素整合者(问题2)由于涉足数据的后续处理、分析和应用环节,是获取定价信息最佳候选人。因此,两个问题统一在一个破题思路下,即打造一体化产业平台,成为大数据全要素整合者。
3、一体化平台与全要素流通
一体化平台的本意是指底层能力基础设施平台和上层商业基础设施平台作为一个有机整体的模式,是相对于仅提供能力API的模式或仅提供双边撮合服务的模式而言。电商平台最初仅提供商业基础设施,但阿里沉淀了云计算能力打造了阿里云作为底层基础设施平台,已成为典型的一体化平台。继续向O2O商业平台演进,这次沉淀的是数据资源,新的能力基础设施平台正在成型。
在大数据产业中,针对前面提到的两大瓶颈,也将出现一体化平台,如上图所示。在能力平台层面是社会级大数据处理分析平台,在此支持下,商业平台层面包括数据流通和应用聚合两大平台,最终体现在企业用户侧就是一个整合了数据要素、IT要素和创意要素的大数据全要素整合者。
首先,一体化产业平台具备夯实的基座,打铁还需自身硬,并非空手套白狼。IT要素的供需特征决定了,像水电煤气一样为全社会提供标准化的大数据处理分析基础设施是经济可行的。在提供基础要素即IT要素方面要具备竞争力,这是全要素整合者的基本条件。基于此,全要素整合者向各种角色提供低成本的大数据IT产品及服务,与所有生态成员都建立了联系或称控制点。
第二,受益于各种要素之间的互补性,一体化产业平台能锁定平台各方成员。对于数据源,平台不仅能够找到买家,还能对接发挥数据价值的应用对于应用对于传统企业,平台能一站式提供大数据全要素,这才能真正兑现大数据的大价值。
第三,一体化产业平台为大数据产业发展解除发展瓶颈,符合各方利益。大数据代表一系列新型生产要素,但若不对传统IT产业的产业关系进行革新,要素升级难以真正转化为生产力。相对于市场或企业,平台是一种新的分工机制,把各类要素主体之间的链式关系转变为以客户为中心的扁平关系,并扩展到长尾市场,更有序、充分、高效地实现多种要素流社会化流通和有机协同。
在一个产业成型或范式转型初期,采取一体化策略的企业通常占优,大数据产业就处于这样的阶段。但是,数字化条件下产业和企业的边界打破、各种新型分工要素涌现,分工又是大势所趋。
一体化产业平台既不同于大包大揽的纵向一体化企业也不同于靠砸钱建立规模门槛的轻平台。我们相信它是大数据产业的最佳选择。归根到底,产业选择何种分工机制,看的是谁能更快速地协调处理更多元的要素以客户需求为准则的有序流动,具有一定的必然性。
对IBM、Apple、电信运营商等企业兴衰的研究表明,企业的成功是需求驱动下的产业必然性和资源约束下的企业偶然性交叠的结果。企业需要构建与产业演进阶段相适应的战略模式,寻找并实现到那份属于自己、符合产业必然性的偶然性。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Power BI 热力地图制作指南:从数据准备到实战分析 在数据可视化领域,热力地图凭借 “直观呈现数据密度与分布趋势” 的核心优势 ...
2025-08-20PyTorch 矩阵运算加速库:从原理到实践的全面解析 在深度学习领域,矩阵运算堪称 “计算基石”。无论是卷积神经网络(CNN)中的 ...
2025-08-20数据建模:CDA 数据分析师的核心驱动力 在数字经济浪潮中,数据已成为企业决策的核心资产。CDA(Certified Data Analyst)数据分 ...
2025-08-20KS 曲线不光滑:模型评估的隐形陷阱,从原因到破局的全指南 在分类模型(如风控违约预测、电商用户流失预警、医疗疾病诊断)的评 ...
2025-08-20偏态分布:揭开数据背后的非对称真相,赋能精准决策 在数据分析的世界里,“正态分布” 常被视为 “理想模型”—— 数据围绕均值 ...
2025-08-19CDA 数据分析师:数字化时代的价值创造者与决策智囊 在数据洪流席卷全球的今天,“数据驱动” 已从企业战略口号落地为核心 ...
2025-08-19CDA 数据分析师:善用 Power BI 索引列,提升数据处理与分析效率 在 Power BI 数据分析流程中,“数据准备” 是决定后续分析质量 ...
2025-08-18CDA 数据分析师:巧用 SQL 多个聚合函数,解锁数据多维洞察 在企业数据分析场景中,单一维度的统计(如 “总销售额”“用户总数 ...
2025-08-18CDA 数据分析师:驾驭表格结构数据的核心角色与实践应用 在企业日常数据存储与分析场景中,表格结构数据(如 Excel 表格、数据库 ...
2025-08-18PowerBI 累计曲线制作指南:从 DAX 度量到可视化落地 在业务数据分析中,“累计趋势” 是衡量业务进展的核心视角 —— 无论是 “ ...
2025-08-15Python 函数 return 多个数据:用法、实例与实战技巧 在 Python 编程中,函数是代码复用与逻辑封装的核心载体。多数场景下,我们 ...
2025-08-15CDA 数据分析师:引领商业数据分析体系构建,筑牢企业数据驱动根基 在数字化转型深化的今天,企业对数据的依赖已从 “零散分析” ...
2025-08-15随机森林中特征重要性(Feature Importance)排名解析 在机器学习领域,随机森林因其出色的预测性能和对高维数据的适应性,被广 ...
2025-08-14t 统计量为负数时的分布计算方法与解析 在统计学假设检验中,t 统计量是常用的重要指标,其分布特征直接影响着检验结果的判断。 ...
2025-08-14CDA 数据分析师与业务数据分析步骤 在当今数据驱动的商业世界中,数据分析已成为企业决策和发展的核心驱动力。CDA 数据分析师作 ...
2025-08-14前台流量与后台流量:数据链路中的双重镜像 在商业数据分析体系中,流量数据是洞察用户行为与系统效能的核心依据。前台流量与 ...
2025-08-13商业数据分析体系构建与 CDA 数据分析师的协同赋能 在企业数字化转型的浪潮中,商业数据分析已从 “可选工具” 升级为 “核 ...
2025-08-13解析 CDA 数据分析师:数据时代的价值挖掘者 在数字经济高速发展的今天,数据已成为企业核心资产,而将数据转化为商业价值的 ...
2025-08-13解析 response.text 与 response.content 的核心区别 在网络数据请求与处理的场景中,开发者经常需要从服务器返回的响应中提取数 ...
2025-08-12MySQL 统计连续每天数据:从业务需求到技术实现 在数据分析场景中,连续日期的数据统计是衡量业务连续性的重要手段 —— 无论是 ...
2025-08-12