京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代,相关部门掌握的数据越来越重要
那么,大数据的“根”在哪里?
共享是大数据的“根”
大数据与云计算,或许就像一枚神奇的金币的正反面,让许多人感觉“云里雾里”、亦真亦幻,却又能真切地感受到金币的光芒。
什么是大数据?按照维基百科的定义,大数据是指无法在可承受时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。它的基本特点可以概括为海量的数据规模、快速的数据流动和动态的数据体系、多样的数据类型、巨大的数据价值。如果将单个或局部领域的数据及其挖掘处理视为小数据,那么关于某一主体的大数据就是由成千上万、相互关联、相互交织的小数据汇聚而成的。小数据的充分融合,就是大数据形成的根基。譬如一滴水,唯有与别的水滴融合在一起,才能形成水流,才能汇成江河、海洋,才能发挥水的价值。这种融合就是共享。没有小数据的共享,就没有大数据生长的“根”。
要从海量的数据中快速地分析、挖掘出有用的信息,单台计算机已难以胜任,必须采用分布式架构,依托云计算的分布式处理、分布式数据和云存储、虚拟化技术,即透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算、分析之后将处理结果回传给用户。这就是与大数据相依相存的云计算。显然,如果没有数据的共享,云计算也是“无米之炊”。当然,数据能否共享,涉及到数据的开放性、法律边界、数据价值实现等问题,还面临诸多现实障碍。
谁阻碍了数据共享?
当我们沉醉于大数据的奇妙与魔法无边的时候,现实世界却给了我们一记响亮的耳光——大家沮丧地发现,许多政府公共信息仍处于零散、分割、封闭状态。
各级政府部门在履职过程中掌握了大量的数据信息,其中涉及企业或个人的数据最为丰富。目前普遍认为比较有用的企业信息大致包括四个方面,一是反映企业基本情况的,二是反映企业真实经营状况的,三是反映企业及企业主资信状况及守法情况的,四是反映企业融资、财产抵质押、对外担保等情况的。这些涉及企业的各种信息资源散落在不同的政府管理部门,总体处于彼此分割、孤立、封闭状态,没有实现数据之间的共享、连接和融合,更谈不上大数据价值的体现。
尽管近年来,各级政府都在积极搭建公共信用信息平台,推动社会征信体系建设,特别是在相关文件出台后,步伐进一步加快,各部门也大多建立了自身的信息管理系统,但部门之间信息不共享或共享不充分仍是常态。即使有一些全国性、地区性的统一信息平台,所含企业信息也非常有限,且不完整、不及时。
这种信息割裂的状态,不仅不利于大数据的发展,从眼前看,则对具体运用大数据的相关主体的发展形成阻碍。比如,银行业在服务实体经济特别是小微企业过程中,面临的突出瓶颈之一,就是信息瓶颈。银行业开展小微企业信贷业务面临的最大困惑是信息不对称。信息的不对称使银行在发放小微企业贷款时难免如履薄冰,顾忌甚多。因此,能否切实掌握和了解反映企业真实经营状况、企业及企业主资信状况等相关信息,在很大程度上决定了银行对小微企业放贷的意愿以及介入小微企业信贷领域的深度。
目前客观存在的企业信息共享“难”,根源在于部门利益。相关部门在参与公共信用信息平台建设时,出于种种原因,往往叫得响、做得少。一些部门出于商业利益,将自身所拥有的大量公共信息视为“私有财产”,以有偿作为提供信息的条件;或以维护商业秘密、涉及部门机密为由,不愿将拥有的、本属于公共资源的企业信息与其他部门共享,或者象征性地扔几根“骨头”,人为造成了企业信息的分割、残缺,也造就了许多“僵尸”信息平台;有些信息的共享按说不应存在障碍,只因为一些数据拥有的部门感觉“吃力不讨好”,缺乏主动提供数据的动力。
当然,也不排除个别地方政府从局部利益出发,对可能影响当地企业发展的行政处罚类负面、失信信息的公开加以阻扰,影响信息数据的共享。深层的原因,则是社会信用体系建设法制化步伐缓慢,公共信息征集机制不健全,对相关部门提供、公开相关政务信息缺乏有效的约束,以及信用信息使用在公开与保密之间的法律边界不清晰。
小数据不能共享,大数据必是空谈。所以,看大势、顾大局、破本位,推进小数据共享,是政府部门在大数据时代应有的思维。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在企业数据化运营体系中,同比、环比分析是洞察业务趋势、评估运营效果的核心手段。同比(与上年同期对比)可消除季节性波动影响 ...
2025-12-19在数字化时代,用户已成为企业竞争的核心资产,而“理解用户”则是激活这一资产的关键。用户行为分析系统(User Behavior Analys ...
2025-12-19在数字化转型的深水区,企业对数据价值的挖掘不再局限于零散的分析项目,而是转向“体系化运营”——数据治理体系作为保障数据全 ...
2025-12-19在数据科学的工具箱中,析因分析(Factor Analysis, FA)、聚类分析(Clustering Analysis)与主成分分析(Principal Component ...
2025-12-18自2017年《Attention Is All You Need》一文问世以来,Transformer模型凭借自注意力机制的强大建模能力,在NLP、CV、语音等领域 ...
2025-12-18在CDA(Certified Data Analyst)数据分析师的时间序列分析工作中,常面临这样的困惑:某电商平台月度销售额增长20%,但增长是来 ...
2025-12-18在机器学习实践中,“超小数据集”(通常指样本量从几十到几百,远小于模型参数规模)是绕不开的场景——医疗领域的罕见病数据、 ...
2025-12-17数据仓库作为企业决策分析的“数据中枢”,其价值完全依赖于数据质量——若输入的是缺失、重复、不一致的“脏数据”,后续的建模 ...
2025-12-17在CDA(Certified Data Analyst)数据分析师的日常工作中,“随时间变化的数据”无处不在——零售企业的每日销售额、互联网平台 ...
2025-12-17在休闲游戏的运营体系中,次日留存率是当之无愧的“生死线”——它不仅是衡量产品核心吸引力的首个关键指标,更直接决定了后续LT ...
2025-12-16在数字化转型浪潮中,“以用户为中心”已成为企业的核心经营理念,而用户画像则是企业洞察用户、精准决策的“核心工具”。然而, ...
2025-12-16在零售行业从“流量争夺”转向“价值深耕”的演进中,塔吉特百货(Target)以两场标志性实践树立了行业标杆——2000年后的孕妇精 ...
2025-12-15在统计学领域,二项分布与卡方检验是两个高频出现的概念,二者都常用于处理离散数据,因此常被初学者混淆。但本质上,二项分布是 ...
2025-12-15在CDA(Certified Data Analyst)数据分析师的工作链路中,“标签加工”是连接原始数据与业务应用的关键环节。企业积累的用户行 ...
2025-12-15在Python开发中,HTTP请求是与外部服务交互的核心场景——调用第三方API、对接微服务、爬取数据等都离不开它。虽然requests库已 ...
2025-12-12在数据驱动决策中,“数据波动大不大”是高频问题——零售店长关心日销售额是否稳定,工厂管理者关注产品尺寸偏差是否可控,基金 ...
2025-12-12在CDA(Certified Data Analyst)数据分析师的能力矩阵中,数据查询语言(SQL)是贯穿工作全流程的“核心工具”。无论是从数据库 ...
2025-12-12很多小伙伴都在问CDA考试的问题,以下是结合 2025 年最新政策与行业动态更新的 CDA 数据分析师认证考试 Q&A,覆盖考试内容、报考 ...
2025-12-11在Excel数据可视化中,柱形图因直观展示数据差异的优势被广泛使用,而背景色设置绝非简单的“换颜色”——合理的背景色能突出核 ...
2025-12-11在科研实验、商业分析或医学研究中,我们常需要判断“两组数据的差异是真实存在,还是偶然波动”——比如“新降压药的效果是否优 ...
2025-12-11