京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据与上海转型发展2_数据分析师
从国内来看,上海IT产业在人才、技术研发、与国际接轨的信息通信基础设施等方面已经形成了一定的优势。电子信息产品制造业总产值和就业人数居上海六大支柱产业之首;信息服务业的产值在服务业中排名达到第五。但在这貌似光鲜的高科技产业背后,仍然存在产业链层次偏低的问题。IT业内程序员、维修、销售服务等工作被讥称为“IT民工”,其体力劳动量远大于脑力劳动量,处于这一产业链的低端。
抓住大数据发展的机遇,上海要充分挖掘被企业和政府部门“养在深闺”、大量的本土消费和市场行为数据,获得本土或行业的比较优势。大数据拥有单位如果能加以重视,与国内IT企业协作开发,激活这个沉睡的巨大金矿,就可能成就上海自己的、在不同细分行业的IBM、谷歌和亚马逊,引领整个中国IT服务业走向高端。推动大数据的发展,不仅可以作为上海IT产业自身升级的一条重要路径,更可以带动其他产业和城市管理的升级,真正打造上海城市建设和长三角经济发展的升级版。
制约大数据发展的四个瓶颈
从大数据的启用到最终价值的创造,是一连串的事件,需要观念的转变、大数据知识的传播、基础设施、人才、法律等基础条件。目前,这些构成了制约上海发展大数据产业的四大瓶颈。
观念瓶颈:根据Gartner的IT生命周期理论,目前正处于对于大数据认识的泡沫化阶段,需要有一个价值理性回归过程。作为决策层,既不要盲目跟风,更不要轻易否定其价值。这时候,尤其需要冷静下来思考:大数据的出现对于经济社会有何种影响,如何影响本行业,对此我们准备好了吗?当前制度与之适应性如何,需要进行何种变革和创新,甚至提交到立法层面来解决?在如何利用大数据方面,站在城市层面,是否可能形成一个战略规划,明确基础数据的良好治理机制,以保障数据的“流动性”和“可获取性”?政府可以为市场提供哪些服务和支撑,等等。从目前“小数据”的开发利用来看,上海仍存在较严重的数据“孤岛”现象,共享的观念还远没有普及,数据管理的制度仍需健全。面对大数据时代的新浪潮,形势不容乐观。
能力瓶颈:上海企业信息化水平参差不齐,很多大型企业如宝钢、电气集团等信息化应用相当成熟,管理水平在逐渐向国外一流公司看齐。但仍有相当比例企业,尤其是中小型企业信息化水平欠佳。据市经信委的调查,约70%的中小企业没有专职IT人员,管理仍停留在经验层面,拍脑袋决策的事情不在少数。这将很难培育出大数据的能力。虽然中国的技术方面也落于人后,但最大的障碍在于技术的应用和管理能力。上海必须重视提升企业信息化管理能力,夯实好基础。
法律瓶颈:在互联网环境下,哪些数据开发行为属于合理开发,仍缺乏一个相应的法律规定,对个人信息保护也无法可依。加之人为造成的信息不对称成为一些部门利益的重要来源,导致立法进程迟迟不能启动。相关法规缺位一个直接结果就是,信息服务产业发展出现了逆向激励:对于个人信息合理的开发受制种种约束,而信息滥用者借助于种种暗箱操作,反而逃避了监督。这种环境下,推动大数据这个金矿的开发,存在非常大的法律风险。
文化瓶颈:各类组织,包括企业、公共服务机构对大数据知识的了解和技术掌握,有个学习过程。从长远看,根本性障碍还在于对基于数据的决策抱怀疑态度的决策文化。这既与数据本身质量不高有关,也与人们认识世界的方式分不开。反映到决策上,往往更加相信直觉,而不重视数字。尽管上海具有相对开明睿智的城市文化,但决策的科学性和透明性方面仍有改善的空间。
推进措施和建议
上海是中国经济、贸易、金融、航运等领域海量数据的集散地,具备得天独厚的大数据优势。在推动大数据发展问题上,上海可以大有作为,这体现在路径选择、环境营造、基本保障等三个维度。
从路径选择看,可以将从上而下和从下而上两种方式结合。
从上而下,强调数据共享和整合,解决现有数据孤岛问题。近年来,上海斥资建成了各种平台,包括互联网数据中心(IDC)、大型企业数据平台、云计算平台、高精度位置服务平台、各行业信息服务平台以及各类社交媒体平台等,为大数据发展奠定了良好的基础。大数据发展的要求是接入和共享,这需要关注于底层数据的连通。但数据共享与其说是技术问题,不如说是制度和利益协调问题,需要高层的承诺,各方认真协商解决。这一工作的难度并非上海所独有,美国白宫的数据共享问题也仅仅是奥巴马上台之后强势推动下才初见成效。只有在共享问题得以解决后,大数据这座金矿才能充分得以开发,实现跨越式发展。
从下而上,强调以小型应用和微创新为突破口,撬动大数据的发展。上海可以从应用端出发,以小型应用和微创新为突破口,引爆行业的大数据发展。如可以鼓励医院、教育等公共服务部门、现有金融保险、航运企业、大型制造企业、零售等数据量丰富的行业龙头企业,以大数据为纽带,各自开展微创新,激活整个产业链的创新能力。微创新的作用在于不断尝试和改进,找到一个更好的服务模式,进一步激发大的创新。如能基于高质量的大数据分析,创新效果会更好,成本会更低。同时随着应用的深入,自然而然对其他部门数据提出共享需求,最终有助于不同部门之间数据的共享。
从环境营造上,上海可以从内外部两方面着力,推进大数据的发展。
从内部看,上海应着重激发基于大数据的创业创新精神。大数据产业链主要是一些国际大数据公司所主导,目前上海没有可以与之相匹敌的企业,只能依赖于细分市场和特定环节的突破,激发出中小型创业型企业的创新精神,培育一批基于数据的决策的创新型企业及中小型创业型企业,通过市场竞争拼出一条血路。
从外部看,主要还是通过筑巢引凤构建大数据产业链高地。上海享有地域、技术、人才、市场、行政效率和透明度高等多种优势,IT产业集群优势也非常明显,借此可广泛吸引国内外企业将大数据行业分析中心设在上海,就地应用和试点,作为上海战略性新兴产业和现代服务业发展的重点支持对象。
保障机制方面,主要涉及立法突破、人才培育和决策文化等三方面。
其中,在大数据立法上有所突破,是关键一环。大数据立法并不是孤立的,而是应放在计算机和互联网信息安全和保护这一大的框架下,在地方层面,灵活借鉴各先进国家和城市经验,规定对信息利用的合理边界,保护个人信息不被滥用。另外,根据迈尔-舍恩伯格的建议,大数据年代记忆已经成为一种常态,为了对公民隐私进行保护,应该有一种遗忘机制。而这一机制类似于档案的销毁,也应有法有依,否则后果会很严重。
同时,人才是技术研发和市场应用的基础。据麦肯锡的估计,仅在美国,大数据技术人才缺口达14万-19万,管理人才150万。上海应开始重视对大数据专业人才的培育,还要意识到国际性人才争夺战的激烈性,既要培育出人才,更要留得住人才。最直接相关的专业有两大类:第一类是大数据技术研发人才,主要为计算机科学和技术专业;第二类是数据分析和管理人才,主要包括信息系统和信息管理专业、数理统计专业等。
最后,还要倡导基于大数据的决策文化。近年来,上海在努力建设智慧城市中已经应用了大数据的理念,但仍存在一些凭经验和直觉决策的区域。大数据的决策本质特征是公开透明和科学理性,这可以改进政府与民众的互信,倡导这一决策文化可以有效改变公信力不足的不利局面,深化上海服务型政府建设。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22CDA数据分析师 出品 作者:李诗怡 1. 金字塔原理 定义: 一种“先总后分、先结论后原因”的思考和表达方式。顶层为核心观点,中 ...
2026-09-22数据收集是数据分析、数据挖掘与数字化运营的源头工作,数据收集的完整性、准确性、时效性直接决定后续数据分析结果的可信度与业 ...
2026-09-21箱线图是数据分析中用于识别数据分布、判断离散程度、筛查异常值的核心图表。相比于直方图、趋势图,箱线图可以精准区分正常数据 ...
2026-09-21 很多数据分析师精通Excel函数和数据透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么 ...
2026-09-21在数据库数据查询与数据分析工作中,日期时间是最常用的数据类型之一。原始数据库中存储的日期格式多为标准时间戳、年月日时分秒 ...
2026-09-20在时序数据分析中,增长率是衡量数据涨跌幅度、研判发展趋势、识别周期波动的核心指标,主要分为环比增长率与同比增长率。传统Ex ...
2026-09-20 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-09-20CDA数据分析师 出品 作者:李诗怡 STP模型(营销战略三步法) 定义: 现代营销战略核心框架,通过市场细分(S)、目标市场选择( ...
2026-09-18在互联网产品迭代、运营优化、界面改版与策略升级过程中,主观经验判断容易造成决策偏差、盲目改版、资源浪费等问题。AB实验(AB ...
2026-09-18 很多企业并不缺少指标,缺少的是让指标“串起来、动起来、用起来”的体系。零散指标像散落一地的珠子,指标体系则是那根把珠 ...
2026-09-18在电商行业精细化运营时代,流量红利逐步消退,粗放式投流、广撒网营销模式已无法适配市场竞争需求。依托用户点击、加购、收藏、 ...
2026-09-17在数据可视化与数据分析工作中,图表是将零散数据转化为直观业务规律的核心工具。不同图表拥有专属的数据逻辑与分析维度,能够从 ...
2026-09-17