京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据产业的结构化瓶颈及解决之道
1、大数据产业的结构化瓶颈
大数据转换为大价值是一个复杂的链条。复杂性既来自需求自身的高度分散和个性化,又来自满足需求过程所涉多样且相互依赖的环节。尽管IT能力是绕不开的环节,认为大数据就是Hadoop的阶段毕竟已过去了,现在大家都已经意识到更广泛的数据源是数据价值链的源头,越发重视外部数据的获取。大家正在意识到,大数据的应用场景如此广阔,没有哪一家供应商能保证现成的方案就能充分实现其潜力,所以各种创意大赛、算法大赛层出不穷。同时,创新的不确定性,又影响企业恰当地表达数据需求,尤其当数据来自其他行业时。

从供给侧来看,大数据时代真的要来了。数据资源、大数据处理技术平台、分析软件、应用算法曾经门槛很高的现在门槛大大降低。比如,大数据的处理和分析以前只有大型企业才有实力购买或部署,而今云服务则大大降低了门槛,中小企业也能快速具备相关能力。
然而,当需求方决定接受鼓动拥抱大数据时,很可能发现大数据与传统的IT项目没有什么不同,除非能够解决下面两个问题。
问题1-在数据价值链源头,数据作为新型生产要素尚不具备成熟的流通机制,这个社会正在快速数据化但数据远未社会化;
问题2-在数据价值链尾端,各类异质性要素需要有机整合才能输出价值,但目前还没有能够按照客户需求整合全要素的角色
当前,大数据要素升级已基本准备就绪,但传统IT产业的结构性瓶颈制约了大数据时代的真正到来。新的产业要素呼唤新的产业制度设计。
2、问题分析与破题思路
2.1 对数据流通问题的思考
回到问题1的原点,为什么数据需要流通?因为数据具有外部性,对其拥有者之外的主体存在广泛的使用价值。对外部性不同的预期,决定了不同的流通方式。政府希望尽可能多地释放外部性使其转化为社会福利,企业希望尽可能多地内化外部性使其转化为经济收益、资源收益和战略收益。类政府的诉求对应数据开放,经济收益对应数据交易,资源收益对应数据交换,战略收益对应数据共享。从长远来看,数据流通机制必将多元化,但目前由于各种原因,大部分数据源对直接获取经济收益更感兴趣。
本部分仅分析数据交易面临的问题。
数据交易的本质是采取市场化手段促进数据流通,而市场是通过价格发挥作用的。由于数据供给可以无限量0成本复制,影响数据定价的主要因素在需求侧。
当效用大于成本时交易才会发生,也就是说,只有需求方从某项数据中获取的价值大于为此付出的诸多成本时,定价才是有意义的。因此,任一数据的定价即购买成本应不高于[数据价值-(搜寻成本+交易成本+使用成本)].
与传统商品交易不同之处有二。一是数据本身缺乏内在一致的价值尺度,其价值取决于应用场景,即使同一数据的价值也可能是高度离散的,极端情况下正所谓此之毒药彼之蜜糖;二是很少有数据买来就直接能用,购买后的使用成本视场景不同差异很大,而这部分成本也应计算进来,因为它发生在价值兑现之前,是需求方购买决策的重要因素。因此我们可以把公式改写为:
价格≤(数据价值-使用成本)-(搜寻成本+交易成本)
前面的被减项很大程度上取决于数据使用场景,相关信息是形成市场价格的必要条件。这可能是数据交易机制无法顺畅运行的症结之一。数据源不了解需求方的使用场景,需求方不了解数据源需要经过怎么样的处理才能使用,双方都缺乏交易的欲望。在这种情况下,数据交易市场如果仅提供中介服务,是无法促进交易达成的,这可能也是数据交易暂未风行的重要原因。
后面的减数项则是一个中介的本分了,这个值做得越低越能促进数据流通。搜寻成本和交易成本可以发生在线上也可发生在线下,能在线上完成的都应在线上完成。可能有些交易市场担心把相关信息如数据目录都搬到线上后会被旁路,这是极其短视的看法。中介靠信息揽客但不是靠信息赚钱,赚钱的是高价值的增值服务。比如,交易成本除了显性的佣金,还包括信任成本、商务合作成本,等等,如果能够帮助客户降低这些成本,就是有价值的中介服务。
可见,要真正走通数据交易这个流通模式,需要从两方面着力降低客户获取数据价值的TCO,不是局限于简单的撮合。一是提供场景,在数据的供给方和需求方之外,引入更接近业务场景的第三方合作伙伴,从而掌握更多的定价信息;二是提供场所,着力提升平台自身的竞争力,在降低搜寻成本和交易成本上下工夫,比如扩大数据目录、优化查询工具、打消隐私顾虑等等。
2.2 对要素整合问题的思考
对于问题2,我们提出大数据全要素的概念。如上文所述可分为四类:数据要素是灵魂、IT要素是基础、创意要素是催化剂、服务要素是粘合剂。数据和创意要素的需求高度个性化、供给高度分散化,IT要素的需求相对标准化、供给相对集中化。服务要素中可以被标准化的都会被工具化、产品化为IT要素并最终移向云端,剩下难以标准化的本地服务,供给则趋向于分散化。
全部自家生产肯定不算整合,把别人家东西买回来放自家库房再卖出去的也不算整合。由于众所周知的原因,一些能力全面的大厂不可能涉足数据整合,而具备一定整合能力的互联网公司却暂不具备IT产品和服务交付能力。此类解决方案的灵魂不是对软硬件产品的了解,也不完全是行业经验丰富的专家,而是数据思维以及将正确的数据用正确的方式整合到正确的流程中的综合能力。
知易行难,这种能力看似是IT集成能力的升级,但由于四类要素之间迥然不同的性质和供需格局,传统的集成模式难以完成这一任务。可以把全要素整合者理解为一种新型集成商,但集成对象和集成方式发生了变化。在集成对象方面,从IT要素和服务要素扩展到数据要素和创意要素;在集成方式方面,从交钥匙工程的保姆式集成转变为平台模式,让多种个性化的要素与客户的个性化需求在同一平台对接。
四类要素,谁整合谁?第三方开发者也就是创意要素显然是被整合的对象,此外有两个可选项。
一种是BAT等坐拥数据金矿的整合各种IT服务商,云基础设施领先更是如虎添翼,但是它们再去整合其他数据资源却面临困难。阿里大肆收购各种行业B2B资产有两个目的,一是补充IT服务能力,二是瞄准了这些行业地头蛇能接触的行业数据,这种All-In的思路其实已经不是平台的玩法了。
另一种是有实力的大数据IT公司整合数据源。此类企业要整合数据源具有战略上的优势即中立性,同时具备战术上的劣势即如何启动平台的正循环。国内IT公司在云计算方面较落后,即使有优秀的产品能力仍无法集约化高效提供,但最大的挑战可能还是从IT思维到数据思维、从集成思维到平台思维的转变。
2.3 合二为一的破题思路
不难发现,问题1和问题2其实相互进入了对方的范畴。要建立全要素整合模式(问题2),绕不开数据要素的整合,这种整合不是传统的集成,而是构建一个流通平台(问题1)。要建立数据交易模式(问题1),必须破解数据定价难题,全要素整合者(问题2)由于涉足数据的后续处理、分析和应用环节,是获取定价信息最佳候选人。因此,两个问题统一在一个破题思路下,即打造一体化产业平台,成为大数据全要素整合者。
3、一体化平台与全要素流通
一体化平台的本意是指底层能力基础设施平台和上层商业基础设施平台作为一个有机整体的模式,是相对于仅提供能力API的模式或仅提供双边撮合服务的模式而言。电商平台最初仅提供商业基础设施,但阿里沉淀了云计算能力打造了阿里云作为底层基础设施平台,已成为典型的一体化平台。继续向O2O商业平台演进,这次沉淀的是数据资源,新的能力基础设施平台正在成型。
在大数据产业中,针对前面提到的两大瓶颈,也将出现一体化平台,如上图所示。在能力平台层面是社会级大数据处理分析平台,在此支持下,商业平台层面包括数据流通和应用聚合两大平台,最终体现在企业用户侧就是一个整合了数据要素、IT要素和创意要素的大数据全要素整合者。
首先,一体化产业平台具备夯实的基座,打铁还需自身硬,并非空手套白狼。IT要素的供需特征决定了,像水电煤气一样为全社会提供标准化的大数据处理分析基础设施是经济可行的。在提供基础要素即IT要素方面要具备竞争力,这是全要素整合者的基本条件。基于此,全要素整合者向各种角色提供低成本的大数据IT产品及服务,与所有生态成员都建立了联系或称控制点。
第二,受益于各种要素之间的互补性,一体化产业平台能锁定平台各方成员。对于数据源,平台不仅能够找到买家,还能对接发挥数据价值的应用对于应用对于传统企业,平台能一站式提供大数据全要素,这才能真正兑现大数据的大价值。
第三,一体化产业平台为大数据产业发展解除发展瓶颈,符合各方利益。大数据代表一系列新型生产要素,但若不对传统IT产业的产业关系进行革新,要素升级难以真正转化为生产力。相对于市场或企业,平台是一种新的分工机制,把各类要素主体之间的链式关系转变为以客户为中心的扁平关系,并扩展到长尾市场,更有序、充分、高效地实现多种要素流社会化流通和有机协同。
在一个产业成型或范式转型初期,采取一体化策略的企业通常占优,大数据产业就处于这样的阶段。但是,数字化条件下产业和企业的边界打破、各种新型分工要素涌现,分工又是大势所趋。
一体化产业平台既不同于大包大揽的纵向一体化企业也不同于靠砸钱建立规模门槛的轻平台。我们相信它是大数据产业的最佳选择。归根到底,产业选择何种分工机制,看的是谁能更快速地协调处理更多元的要素以客户需求为准则的有序流动,具有一定的必然性。
对IBM、Apple、电信运营商等企业兴衰的研究表明,企业的成功是需求驱动下的产业必然性和资源约束下的企业偶然性交叠的结果。企业需要构建与产业演进阶段相适应的战略模式,寻找并实现到那份属于自己、符合产业必然性的偶然性。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22CDA数据分析师 出品 作者:李诗怡 1. 金字塔原理 定义: 一种“先总后分、先结论后原因”的思考和表达方式。顶层为核心观点,中 ...
2026-09-22数据收集是数据分析、数据挖掘与数字化运营的源头工作,数据收集的完整性、准确性、时效性直接决定后续数据分析结果的可信度与业 ...
2026-09-21箱线图是数据分析中用于识别数据分布、判断离散程度、筛查异常值的核心图表。相比于直方图、趋势图,箱线图可以精准区分正常数据 ...
2026-09-21 很多数据分析师精通Excel函数和数据透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么 ...
2026-09-21在数据库数据查询与数据分析工作中,日期时间是最常用的数据类型之一。原始数据库中存储的日期格式多为标准时间戳、年月日时分秒 ...
2026-09-20在时序数据分析中,增长率是衡量数据涨跌幅度、研判发展趋势、识别周期波动的核心指标,主要分为环比增长率与同比增长率。传统Ex ...
2026-09-20 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-09-20CDA数据分析师 出品 作者:李诗怡 STP模型(营销战略三步法) 定义: 现代营销战略核心框架,通过市场细分(S)、目标市场选择( ...
2026-09-18在互联网产品迭代、运营优化、界面改版与策略升级过程中,主观经验判断容易造成决策偏差、盲目改版、资源浪费等问题。AB实验(AB ...
2026-09-18 很多企业并不缺少指标,缺少的是让指标“串起来、动起来、用起来”的体系。零散指标像散落一地的珠子,指标体系则是那根把珠 ...
2026-09-18在电商行业精细化运营时代,流量红利逐步消退,粗放式投流、广撒网营销模式已无法适配市场竞争需求。依托用户点击、加购、收藏、 ...
2026-09-17在数据可视化与数据分析工作中,图表是将零散数据转化为直观业务规律的核心工具。不同图表拥有专属的数据逻辑与分析维度,能够从 ...
2026-09-17 很多数据分析师每天盯着GMV、DAU、转化率,但当被问到“哪些指标在所有行业都适用”“哪些指标只对电商有意义”“二者如何搭 ...
2026-09-17在企业数字化运营、业务流程管理与精细化管控体系中,流程运营是串联各项业务环节、保障工作落地、提升运转效率的核心载体。无论 ...
2026-09-16在数据分析与统计学研究中,卡方检验是分析分类变量关联性与差异性的重要方法,广泛应用于市场调研、行为统计、社会调查、商业数 ...
2026-09-16 很多数据分析师每天盯着GMV、DAU、转化率,但当被问到“什么是指标”“指标和维度有什么区别”“如何定义指标值的计算规则和 ...
2026-09-16CDA数据分析师 出品 作者:李诗怡 定义: 用户增长核心分析框架,刻画用户从接触产品到自发推荐的全生命周期,五个递进环节构建 ...
2026-09-15在数字化营销与精细化用户运营时代,企业传统的广撒网式营销模式成本高、转化率低,已无法适配精准商业竞争需求。客户画像作为大 ...
2026-09-15 很多数据分析师精通描述性统计,能熟练计算均值、中位数、标准差,但当被问到“用500个样本如何推断10万用户的真实满意度” ...
2026-09-15