京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据与上海转型发展2_数据分析师
从国内来看,上海IT产业在人才、技术研发、与国际接轨的信息通信基础设施等方面已经形成了一定的优势。电子信息产品制造业总产值和就业人数居上海六大支柱产业之首;信息服务业的产值在服务业中排名达到第五。但在这貌似光鲜的高科技产业背后,仍然存在产业链层次偏低的问题。IT业内程序员、维修、销售服务等工作被讥称为“IT民工”,其体力劳动量远大于脑力劳动量,处于这一产业链的低端。
抓住大数据发展的机遇,上海要充分挖掘被企业和政府部门“养在深闺”、大量的本土消费和市场行为数据,获得本土或行业的比较优势。大数据拥有单位如果能加以重视,与国内IT企业协作开发,激活这个沉睡的巨大金矿,就可能成就上海自己的、在不同细分行业的IBM、谷歌和亚马逊,引领整个中国IT服务业走向高端。推动大数据的发展,不仅可以作为上海IT产业自身升级的一条重要路径,更可以带动其他产业和城市管理的升级,真正打造上海城市建设和长三角经济发展的升级版。
制约大数据发展的四个瓶颈
从大数据的启用到最终价值的创造,是一连串的事件,需要观念的转变、大数据知识的传播、基础设施、人才、法律等基础条件。目前,这些构成了制约上海发展大数据产业的四大瓶颈。
观念瓶颈:根据Gartner的IT生命周期理论,目前正处于对于大数据认识的泡沫化阶段,需要有一个价值理性回归过程。作为决策层,既不要盲目跟风,更不要轻易否定其价值。这时候,尤其需要冷静下来思考:大数据的出现对于经济社会有何种影响,如何影响本行业,对此我们准备好了吗?当前制度与之适应性如何,需要进行何种变革和创新,甚至提交到立法层面来解决?在如何利用大数据方面,站在城市层面,是否可能形成一个战略规划,明确基础数据的良好治理机制,以保障数据的“流动性”和“可获取性”?政府可以为市场提供哪些服务和支撑,等等。从目前“小数据”的开发利用来看,上海仍存在较严重的数据“孤岛”现象,共享的观念还远没有普及,数据管理的制度仍需健全。面对大数据时代的新浪潮,形势不容乐观。
能力瓶颈:上海企业信息化水平参差不齐,很多大型企业如宝钢、电气集团等信息化应用相当成熟,管理水平在逐渐向国外一流公司看齐。但仍有相当比例企业,尤其是中小型企业信息化水平欠佳。据市经信委的调查,约70%的中小企业没有专职IT人员,管理仍停留在经验层面,拍脑袋决策的事情不在少数。这将很难培育出大数据的能力。虽然中国的技术方面也落于人后,但最大的障碍在于技术的应用和管理能力。上海必须重视提升企业信息化管理能力,夯实好基础。
法律瓶颈:在互联网环境下,哪些数据开发行为属于合理开发,仍缺乏一个相应的法律规定,对个人信息保护也无法可依。加之人为造成的信息不对称成为一些部门利益的重要来源,导致立法进程迟迟不能启动。相关法规缺位一个直接结果就是,信息服务产业发展出现了逆向激励:对于个人信息合理的开发受制种种约束,而信息滥用者借助于种种暗箱操作,反而逃避了监督。这种环境下,推动大数据这个金矿的开发,存在非常大的法律风险。
文化瓶颈:各类组织,包括企业、公共服务机构对大数据知识的了解和技术掌握,有个学习过程。从长远看,根本性障碍还在于对基于数据的决策抱怀疑态度的决策文化。这既与数据本身质量不高有关,也与人们认识世界的方式分不开。反映到决策上,往往更加相信直觉,而不重视数字。尽管上海具有相对开明睿智的城市文化,但决策的科学性和透明性方面仍有改善的空间。
推进措施和建议
上海是中国经济、贸易、金融、航运等领域海量数据的集散地,具备得天独厚的大数据优势。在推动大数据发展问题上,上海可以大有作为,这体现在路径选择、环境营造、基本保障等三个维度。
从路径选择看,可以将从上而下和从下而上两种方式结合。
从上而下,强调数据共享和整合,解决现有数据孤岛问题。近年来,上海斥资建成了各种平台,包括互联网数据中心(IDC)、大型企业数据平台、云计算平台、高精度位置服务平台、各行业信息服务平台以及各类社交媒体平台等,为大数据发展奠定了良好的基础。大数据发展的要求是接入和共享,这需要关注于底层数据的连通。但数据共享与其说是技术问题,不如说是制度和利益协调问题,需要高层的承诺,各方认真协商解决。这一工作的难度并非上海所独有,美国白宫的数据共享问题也仅仅是奥巴马上台之后强势推动下才初见成效。只有在共享问题得以解决后,大数据这座金矿才能充分得以开发,实现跨越式发展。
从下而上,强调以小型应用和微创新为突破口,撬动大数据的发展。上海可以从应用端出发,以小型应用和微创新为突破口,引爆行业的大数据发展。如可以鼓励医院、教育等公共服务部门、现有金融保险、航运企业、大型制造企业、零售等数据量丰富的行业龙头企业,以大数据为纽带,各自开展微创新,激活整个产业链的创新能力。微创新的作用在于不断尝试和改进,找到一个更好的服务模式,进一步激发大的创新。如能基于高质量的大数据分析,创新效果会更好,成本会更低。同时随着应用的深入,自然而然对其他部门数据提出共享需求,最终有助于不同部门之间数据的共享。
从环境营造上,上海可以从内外部两方面着力,推进大数据的发展。
从内部看,上海应着重激发基于大数据的创业创新精神。大数据产业链主要是一些国际大数据公司所主导,目前上海没有可以与之相匹敌的企业,只能依赖于细分市场和特定环节的突破,激发出中小型创业型企业的创新精神,培育一批基于数据的决策的创新型企业及中小型创业型企业,通过市场竞争拼出一条血路。
从外部看,主要还是通过筑巢引凤构建大数据产业链高地。上海享有地域、技术、人才、市场、行政效率和透明度高等多种优势,IT产业集群优势也非常明显,借此可广泛吸引国内外企业将大数据行业分析中心设在上海,就地应用和试点,作为上海战略性新兴产业和现代服务业发展的重点支持对象。
保障机制方面,主要涉及立法突破、人才培育和决策文化等三方面。
其中,在大数据立法上有所突破,是关键一环。大数据立法并不是孤立的,而是应放在计算机和互联网信息安全和保护这一大的框架下,在地方层面,灵活借鉴各先进国家和城市经验,规定对信息利用的合理边界,保护个人信息不被滥用。另外,根据迈尔-舍恩伯格的建议,大数据年代记忆已经成为一种常态,为了对公民隐私进行保护,应该有一种遗忘机制。而这一机制类似于档案的销毁,也应有法有依,否则后果会很严重。
同时,人才是技术研发和市场应用的基础。据麦肯锡的估计,仅在美国,大数据技术人才缺口达14万-19万,管理人才150万。上海应开始重视对大数据专业人才的培育,还要意识到国际性人才争夺战的激烈性,既要培育出人才,更要留得住人才。最直接相关的专业有两大类:第一类是大数据技术研发人才,主要为计算机科学和技术专业;第二类是数据分析和管理人才,主要包括信息系统和信息管理专业、数理统计专业等。
最后,还要倡导基于大数据的决策文化。近年来,上海在努力建设智慧城市中已经应用了大数据的理念,但仍存在一些凭经验和直觉决策的区域。大数据的决策本质特征是公开透明和科学理性,这可以改进政府与民众的互信,倡导这一决策文化可以有效改变公信力不足的不利局面,深化上海服务型政府建设。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在使用Excel数据透视表进行数据分析时,我们常需要在透视表旁添加备注列,用于标注数据背景、异常说明、业务解读等关键信息。但 ...
2025-12-22在MySQL数据库的性能优化体系中,索引是提升查询效率的“核心武器”——一个合理的索引能将百万级数据的查询耗时从秒级压缩至毫 ...
2025-12-22在数据量爆炸式增长的数字化时代,企业数据呈现“来源杂、格式多、价值不均”的特点,不少CDA(Certified Data Analyst)数据分 ...
2025-12-22在企业数据化运营体系中,同比、环比分析是洞察业务趋势、评估运营效果的核心手段。同比(与上年同期对比)可消除季节性波动影响 ...
2025-12-19在数字化时代,用户已成为企业竞争的核心资产,而“理解用户”则是激活这一资产的关键。用户行为分析系统(User Behavior Analys ...
2025-12-19在数字化转型的深水区,企业对数据价值的挖掘不再局限于零散的分析项目,而是转向“体系化运营”——数据治理体系作为保障数据全 ...
2025-12-19在数据科学的工具箱中,析因分析(Factor Analysis, FA)、聚类分析(Clustering Analysis)与主成分分析(Principal Component ...
2025-12-18自2017年《Attention Is All You Need》一文问世以来,Transformer模型凭借自注意力机制的强大建模能力,在NLP、CV、语音等领域 ...
2025-12-18在CDA(Certified Data Analyst)数据分析师的时间序列分析工作中,常面临这样的困惑:某电商平台月度销售额增长20%,但增长是来 ...
2025-12-18在机器学习实践中,“超小数据集”(通常指样本量从几十到几百,远小于模型参数规模)是绕不开的场景——医疗领域的罕见病数据、 ...
2025-12-17数据仓库作为企业决策分析的“数据中枢”,其价值完全依赖于数据质量——若输入的是缺失、重复、不一致的“脏数据”,后续的建模 ...
2025-12-17在CDA(Certified Data Analyst)数据分析师的日常工作中,“随时间变化的数据”无处不在——零售企业的每日销售额、互联网平台 ...
2025-12-17在休闲游戏的运营体系中,次日留存率是当之无愧的“生死线”——它不仅是衡量产品核心吸引力的首个关键指标,更直接决定了后续LT ...
2025-12-16在数字化转型浪潮中,“以用户为中心”已成为企业的核心经营理念,而用户画像则是企业洞察用户、精准决策的“核心工具”。然而, ...
2025-12-16在零售行业从“流量争夺”转向“价值深耕”的演进中,塔吉特百货(Target)以两场标志性实践树立了行业标杆——2000年后的孕妇精 ...
2025-12-15在统计学领域,二项分布与卡方检验是两个高频出现的概念,二者都常用于处理离散数据,因此常被初学者混淆。但本质上,二项分布是 ...
2025-12-15在CDA(Certified Data Analyst)数据分析师的工作链路中,“标签加工”是连接原始数据与业务应用的关键环节。企业积累的用户行 ...
2025-12-15在Python开发中,HTTP请求是与外部服务交互的核心场景——调用第三方API、对接微服务、爬取数据等都离不开它。虽然requests库已 ...
2025-12-12在数据驱动决策中,“数据波动大不大”是高频问题——零售店长关心日销售额是否稳定,工厂管理者关注产品尺寸偏差是否可控,基金 ...
2025-12-12在CDA(Certified Data Analyst)数据分析师的能力矩阵中,数据查询语言(SQL)是贯穿工作全流程的“核心工具”。无论是从数据库 ...
2025-12-12