京公网安备 11010802034615号
经营许可证编号:京B2-20210330
互联网的大数据时代真来了?还是一直都在?
这几天在微信上看到很多关于互联网大数据的文章,也有人说大数据已经作为云计算、物联网之后IT行业又一大颠覆性的技术革命,Heven在想,互联网的大数据时代真来了?还是一直都在?其实,数据分析技术的运用已经悄然开始了,比如淘宝网、京东等购物网站监视着我们的购物习惯,百度、谷歌等搜索引擎监视着我们的网页浏览情况,新浪微博、腾讯微博好像对我们的朋友很熟悉,还有就是QQ和QQ空间总能给我们推荐那些似曾相识的朋友,但是Heven觉得我们离真正的大数据时代还有不小距离,但是一直都在。为什么这么说呢?
一、硬件条件不全:首先是网速的问题,大数据的处理必须要求高速的基础网络,而我国网络拥堵是普遍的现象,要解决现在大数据的处理是很难达到的,几乎是不可能的。
其次是处理信息的设备太少:据统计,互联网上一天产生的信息量大约有800EB,如果装在DVD光盘中要装1.68亿张、装在硬盘中要装80万个。而处理这些数据的互联网公司设备却极其少,如百度在京、山西和内蒙三地数据处理器才刚刚超过十万台,拥有70万个CPU和4000台服务器;腾讯数据平台设备8400台,单集群5600台,总存储100PB+;日新增数据200TB+,月数据增长率10%,日均JOB数100万,日均计算量5PB,但是腾讯数据总记录已经超过了375万亿条。可见现在设备是很难完全精准地处理这些互联网数据的,而大数据时代是能够完全处理现下数据并能实现精准定位网民的动向,所以说进入大数据时代还为时尚早。
二、专业型人才太少:Heven认为,大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素,不可否认的是大数据处理人才的奇缺,不管是国家还是各大互联网公司都在加大对大数据处理人才的挖掘,如2014年5月19日,由中国人民大学、北京大学、中国科学院大学、中央财经大学、首都经济贸易大学五所高校联合组建的大数据分析硕士培养协同创新平台在中国人民大学启动;阿里集团2012年7月10日就已宣布,设立首席数据官岗位(CDO),负责推进“数据分享平台”战略。如此种种,说明大数据处理人才奇缺,也说明培养专业型大数据处理人才的迫在眉睫。
三、数据孤立,各自为战:目前国内互联网的现状是BAT三巨头各自为战,百度连接人和信息,独占了信息入口;阿里巴巴连接人和商品,独占了交易入口;腾讯连接了人和人,独占了社交入口。而他们都是死死的把握自己的入口,不让数据共享,试想这样怎样才能实现大数据化,一部分的数据又如何才能判断网民的真实意图?所以广告不能精准投放,网页的相关性不强,互联网的智能化发展只能在艰难进行。
Heven认为互联网的本质是理解用户并走向智能化,而大数据的精确处理也就是为了实现互联网的智能化,同时也是实现智能化的基础,但目前互联网大数据的处理还处在一个前期的阶段,不管是设备,人才,数据资源共享方面都是急需解决的问题,所以说,我们离真正的大数据时代还有不小距离。以上只是Heven的个人见解,表述的不是很完整,希望大家提出意见,共同进步。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27对数据分析从业者和学生而言,表结构数据是最基础也最核心的分析载体——CRM系统的用户表、门店的销售明细表、仓库的库存表,都 ...
2025-11-27在业务数据可视化中,热力图(Heat Map)是传递“数据密度与分布特征”的核心工具——它通过颜色深浅直观呈现数据值的高低,让“ ...
2025-11-26在企业数字化转型中,业务数据分析师是连接数据与决策的核心纽带。但“数据分析师”并非单一角色,从初级到高级,其职责边界、能 ...
2025-11-26表格结构数据以“行存样本、列储属性”的规范形态,成为CDA数据分析师最核心的工作载体。从零售门店的销售明细表到电商平台的用 ...
2025-11-26在pandas数据处理工作流中,“列标签”(Column Labels)是连接数据与操作的核心桥梁——它不仅是DataFrame数据结构的“索引标识 ...
2025-11-25Anaconda作为数据科学领域的“瑞士军刀”,集成了Python解释器、conda包管理工具及海量科学计算库,是科研人员、开发者的必备工 ...
2025-11-25在CDA(Certified Data Analyst)数据分析师的日常工作中,表格结构数据是最常接触的“数据形态”——从CRM系统导出的用户信息表 ...
2025-11-25在大数据营销从“粗放投放”向“精准运营”转型的过程中,企业常面临“数据维度繁杂,核心影响因素模糊”的困境——动辄上百个用 ...
2025-11-24当流量红利逐渐消退,“精准触达、高效转化、长效留存”成为企业营销的核心命题。大数据技术的突破,让营销从“广撒网”的粗放模 ...
2025-11-24在商业数据分析的全链路中,报告呈现是CDA(Certified Data Analyst)数据分析师传递价值的“最后一公里”,也是最容易被忽视的 ...
2025-11-24在数据可视化实践中,数据系列与数据标签的混淆是导致图表失效的高频问题——将数据标签的样式调整等同于数据系列的维度优化,或 ...
2025-11-21在数据可视化领域,“静态报表无法展现数据的时间变化与维度关联”是长期痛点——当业务人员需要分析“不同年份的区域销售趋势” ...
2025-11-21在企业战略决策的场景中,“PESTEL分析”“波特五力模型”等经典方法常被提及,但很多时候却陷入“定性描述多、数据支撑少”的困 ...
2025-11-21在企业数字化转型过程中,“业务模型”与“数据模型”常被同时提及,却也频繁被混淆——业务团队口中的“用户增长模型”聚焦“如 ...
2025-11-20在游戏行业“高获客成本、低留存率”的痛点下,“提前预测用户流失并精准召回”成为运营核心命题。而用户流失并非突发行为——从 ...
2025-11-20