京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据发展的根基是什么
大数据活在“云端”!唯有云计算能让大数据找到自己的轨迹和存在的真正价值;但大数据不是无根的浮云,它有自己的根,源源不断输送数据的根。
那么,大数据的“根”在哪里?日前国务院出台的《促进大数据发展行动纲要》(以下简称《行动纲要》)或许可以让我们找到答案。
《行动纲要》明确提出了促进大数据发展的三大重点任务和十项工程。三大重点任务之首即加快政府数据开放共享,推动资源整合;十项工程前四大工程涉及政府信息,即:政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程。不难发现,三大重点任务、十项工程的关键词就是共享,而政府数据的开放共享是核心。
共享是大数据的“根”
大数据与云计算,或许就像一枚神奇的金币之正反面,让许多人感觉“云里雾里”、亦真亦幻,却又能真切地感受到金币的光芒。
什么是大数据?按照维基百科的定义,大数据是指无法在可承受时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据的基本特点可以概括为“4V”:大量化(Volume)多样化(Variety)、快速化(Velocity)、价值化(Value),即海量的数据规模、快速的数据流动和动态的数据体系、多样的数据类型、巨大的数据价值。
而《大数据时代》的作者维克托·迈尔·舍恩伯格给出的解释或许更易于理解,他认为,“大数据”并不是很大或者很多数据,并不是一部分数据样本,而是关于某个现象的所有数据。比如说关于一家企业的数据信息,除了企业名称、法定代表人、注册资本、经营范围等基本信息外,还包括财务信息、经营信息、外部关联关系、诚信状况等信息。大量、多维、立体、交织信息的汇集,就可以为不同主体、基于不同需求分析企业提供数据基础。
如果将单个或局部领域的数据及其挖掘处理视为小数据,那么关于某一主体的大数据就是由成千上万、相互关联、相互交织的小数据汇聚而成的。小数据的充分融合,就是大数据形成的根基。譬如一滴水,唯有与别的水滴融合在一起,才能形成水流,才能汇成江河、海洋,才能发挥水的价值。这种融合就是共享。没有小数据的共享,就没有大数据生长的“根”。
要从海量的数据中快速地分析、挖掘出有用的信息,单台计算机已难以胜任,必须采用分布式架构,依托云计算的分布式处理、分布式数据和云存储、虚拟化技术,即透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算、分析之后将处理结果回传给用户。这就是与大数据相依相存的云计算。显然,如果没有数据的共享,云计算也是“无米之炊”。
当然,数据能否共享,涉及到数据的开放性、法律边界、数据价值实现等问题,还面临诸多现实障碍。
谁阻碍了数据共享?
当我们沉醉于大数据的奇妙与魔法无边的时候,现实世界却给了我们一记响亮的耳光!我们会沮丧地发现,许多政府公共信息仍处于零散、分割、封闭状态!
各级政府部门在履职过程中掌握了大量的数据信息,其中涉及企业(个人)的数据最为丰富。目前普遍认为比较有用的企业信息大致包括四个方面。
一是反映企业基本情况的信息。包括:工商部门提供的企业注册登记信息,注册资本、股东及高管变更情况等;环保部门提供的企业环境违法处罚信息、环评审批、排污许可证和排污权抵押登记情况等;质监、安监、食品药监、卫生等部门提供的各项资质信息。
二是反映企业真实经营状况的信息。包括:税务部门提供的企业应税销售额,纳税、退税情况等;人力社保部门提供的企业社保缴纳、劳动争议情况、劳动保障书面审查信息等;海关部门提供的进出口信息、企业报关情况等;水、电、气部门提供的缴费及欠费情况等。
三是反映企业及企业主资信状况及守法情况的信息。包括:公安、法院等部门提供的企业或企业主的司法诉讼、执行、查封信息等;工商、环保、人社、税务、质监、安监、食品药监、卫生、海关等部门提供的处罚信息。
四是反映企业融资、财产抵质押、对外担保等情况的信息。包括:人民银行[微博]征信系统提供的贷款、质押信息,工商部门提供的股权转让、抵押、查封信息等;房产部门提供的房地产权属、抵押、查封、租赁信息等。
这些涉及企业的各种信息资源散落在不同的政府管理部门,总体处于彼此分割、孤立、封闭状态,没有实现数据之间的共享、连接和融合,更谈不上大数据价值的体现。
尽管近年来,各级政府都在积极搭建公共信用信息平台,推动社会征信体系建设,特别是《国务院关于印发社会信用体系建设规划纲要(2014—2020年)的通知》出台后,步伐进一步加快,各部门也大多建立了自身的信息管理系统,但部门之间信息不共享或共享不充分仍是常态。即使有一些全国性、地区性的统一信息平台,如“全国企业信用信息公示系统”“信用浙江”等,所含企业信息也非常有限,且不完整、不及时。
这种信息割裂的状态,不仅不利于大数据的发展,从眼前看,则对具体运用大数据的相关主体的发展形成阻碍。比如,银行业在服务实体经济特别是小微企业过程中,面临的突出瓶颈之一,就是信息瓶颈。银行业开展小微企业信贷业务面临的最大困惑是信息不对称。信息的不对称使银行在发放小微企业贷款时难免“如履薄冰”,顾忌甚多。因此,能否切实掌握和了解反映企业真实经营状况、企业及企业主资信状况等相关信息,在很大程度上决定了银行对小微企业放贷的意愿以及介入小微企业信贷领域的深度。
目前客观存在的企业信息难共享之格局,根源在于部门利益。相关政府部门在参与公共信用信息平台建设时,出于种种原因,往往叫得响、做得少。一些部门出于自身商业利益,将自身所拥有的大量公共信息视为“私有财产”,以有偿作为提供信息的条件;或以维护商业秘密、涉及部门机密为由,不愿将拥有的、本属于公共资源的企业信息与其他部门共享,或者象征性地扔几根“骨头”,人为造成了企业信息的分割、残缺,也造就了许多“僵尸”信息平台;有些信息的共享按说不应存在障碍,只因为一些数据拥有的部门感觉“吃力不讨好”,缺乏主动提供数据的动力。
当然,也不排除个别地方政府从局部利益出发,对可能影响当地企业发展的行政处罚类负面、失信信息的公开加以阻扰,影响信息数据的共享。深层的原因,则是社会信用体系建设法制化步伐缓慢,公共信息征集机制不健全,对相关部门提供、公开相关政务信息缺乏有效的约束,以及信用信息使用在公开与保密之间的法律边界不清晰。
怎样走向数据共享?
《行动纲要》把加快政府数据开放共享、推动资源整合列为首要任务,把推动政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程等工程建设作为促进大数据发展的基础设施工程。说明政府高层对信息共享问题的高度关注。
显然,推动数据共享的起点是政府部门间的信息共享,而这恰恰是难点所在。这是一个系统性艰巨工程,也是一个渐进的过程,既需要加快社会征信体系的法制化进程,更需要政府及相关部门创新思维。
搭建统一、公开、透明的社会信用信息共享平台,有效整合政府各部门信息。对于拥有各种管理资源的政府而言,搭建一个比较完备的信息平台框架似乎并不难,难就难在能否实现信息的充分共享。如何让信息平台所涉及的政府部门主动、及时、充分地将自身所拥有、可公开的数据信息共享到统一的信息平台,关键是要强化信息征集的行政约束力,建立公共信息共享平台的保障机制。
在现行体制下,笔者以为政绩考核“指挥棒”或是推动信息共享之“神器”。应以推动《社会信用体系建设规划纲要(2014—2020年)》实施、落实政务公开制度为抓手,将公共信用信息共享系统数据信息的报送纳入政府对相关部门的考核,前提是要充分研究和界定各类信息公开的法律边界,特别是在对各类违法违规信息、不诚信行为信息的公开方面,应明确可以采取的共享方式和程度,以打消信息发布各方的顾虑。在此基础上,制定清晰的公共信息共享清单,明确相应的责任与义务。
小数据不能共享,大数据必是空谈。所以,看大势、顾大局、破本位,推进小数据共享,是政府部门在大数据时代应有的思维。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
【核心关键词】运营、证书、金融、客户、产品、软件、销售额、量化、科技、数据分析、金融行业、证券类软件、业务流程、金融机 ...
2026-06-22在企业方案选型、产品迭代评审、供应商筛选、运营效果复盘等决策场景中,单一指标的优劣判断往往无法支撑科学决策。一套转化效果 ...
2026-06-22 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-06-22【核心关键词】软件、洞察力、大数据、产品、经验、硬件、流量、创新、决策、数据安全、网络安全、数据分析、决策制定、数据挖 ...
2026-06-18在方案选型、效果复盘、产品评估、供应商筛选等各类业务决策场景中,仅凭单一指标下结论往往会陷入 “以偏概全” 的误区。多维度 ...
2026-06-18 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-06-18在数据分析、用户运营与业务增长的工作体系中,漏斗拆解是最基础也最高频的问题定位方法。很多业务场景下,我们只能看到最终的转 ...
2026-06-17在数据库开发、数据清洗与报表统计场景中,数值类型转换为日期是高频刚需操作。业务系统常以 Unix 时间戳、整型日期(如20240617 ...
2026-06-17 数据分析师八成以上的时间在和数据表格打交道,但许多人拿到Excel后习惯性地先算、先分析,结果回头发现漏了一列关键数据, ...
2026-06-17【核心关键词】数据库、电商、知识、产品、数据产品、监管业务、产品经理、业务系统、用户行为分析、用户分析、数据分析、电商 ...
2026-06-16在 Python 动态类型与面向对象的编程体系中,变量定义与类实例化是构建代码逻辑的两大核心基石。变量是数据存储、传递与运算的基 ...
2026-06-16 很多数据分析师每天与Excel打交道,但当被问到“表格结构数据和表结构数据有什么区别”“数据类型误判会引发哪些分析错误” ...
2026-06-16在 MySQL 查询性能优化体系中,索引是降低查询耗时、提升数据库吞吐的核心手段。其中联合索引与覆盖索引是实际开发中最高频的两 ...
2026-06-15在数据仓库建设与商业智能分析体系中,维度建模是应用最广泛的建模方法论,而事实表与维度表是维度建模的两大核心构件,共同构成 ...
2026-06-15 很多数据分析师能熟练计算指标,但当被问到“这家企业的核心业务目标是什么”“如何把模糊的战略目标拆解为可量化的指标”“ ...
2026-06-15在数据分析、业务监控、运营复盘等场景中,列值趋势计算是核心需求之一。无论是分析销售额的月度增长、用户活跃的变化趋势、库存 ...
2026-06-12在数字经济深度渗透的当下,消费者的购买行为已从过去的 “被动接受” 转变为 “主动决策”。流量红利消退、获客成本攀升、用户 ...
2026-06-12CDA三级认证是三个级别中的塔尖,全面考察数据战略、团队领导和复杂项目的综合能力。它所对应的《敏捷数据挖掘》教材,不再局限 ...
2026-06-12在游戏产业的商业逻辑中,付费玩家是支撑游戏生存与发展的核心支柱。行业普遍遵循 “二八定律”:20% 的付费玩家贡献了游戏 80% ...
2026-06-11【核心关键词】企业、定位、传统、产品、互联网、可视化、业务侧、数字化、结构化、数据分析、传统制造业、市场状态、发展空间 ...
2026-06-11