京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据的五大神话
尽管大数据正在被广泛的讨论,目前看来,其仍然是一个很大的谜一样的神话。事实上,围绕大数据的误解似乎已经达到了神话般的境界。如下便是五大神话。
1、大数据仅仅是海量的数据量
容量仅仅是界定大数据定义的关键要素之一,而对于大数据的定义至少有三个方面的重要要素。其他两方面分别是种类和传输速度。与后两者相结合,便是Gartner调研公司的道格?兰尼最初在2001年的调研报告中给出的关于大数据的概念。
一般来说,专家们普遍认为PB级的数据为大数据的起点,尽管这一指标仍然是一个变化中的目标。因此,虽然容量这一因素是非常重要的,而接下来的另外两个衡量指标也不容忽视。
种类是指许多不同的数据和文件类型,对于管理和更深入的分析数据是至关重要的。但不适合传统的关系数据库。这方面的例子包括各种声音和电影文件、图像、文档、地理定位数据、网络日志和文本字符串。
速度是有关数据的变化率,以及其必须如何快速的被使用,以创造真正的价值。传统技术,尤其不适合用于高速数据储存和使用。因此,采用新的方法是必要的。如果有问题的数据创建和聚合速度非常快,就必须使用迅速的方式来揭示其相关的模式和问题。你发现问题的速度越快,就越有利于您从你大数据分析中获得更多的机会。
2、大数据指的是Hadoop
Hadoop是Apache为大数据工作的开源软件框架。其是来自于Google的技术加上雅虎的理念和其他,并付诸实践得出的。但是,大数据是如此的多样,和复杂,其绝对不存在一套放之四海而皆准的万能的解决办法。虽然Hadoop已经毫无疑问的获得了相当大的知名度,但其也仅仅只是适合大数据存储和管理的三种技术的其中之一。其他两个种技术上NoSQL和大规模并行处理(MPP)数据存储。MPP数据存储的例子包括EMC的Greenplum、IBM公司的Netezza和惠普的Vertica。[page]
此外,Hadoop是一个软件框架,这意味着它包括若干专门设计的组件,是专门设计来解决大规模分布式数据存储,分析和检索任务的。不是所有的Hadoop组件都是必要的,对于一个大的数据解决方案,其中一些组件可取代其他技术,更好地配合用户的需求。一个例子是MapR的Hadoop,其中包括NFS作为HDFS的替代,并提供了一个完整的随机存取,读/写文件系统。
3、大数据意味着非结构化数据
“非结构化”这一术语是不准确的,其没有考虑到许多通常与大数据类型相关的不同的和微妙的结构。此外,大数据很可能在同一数据集有不同的数据类型,不包含相同的结构。
因此,大数据更好可能是被称为“多层结构”,因为它可以包含文本字符串、所有类型的文件、音频和视频文件、元数据、网页、电子邮件、社交媒体供稿、表格数据,等等。这些不同的数据类型一致的特点是不知道其数据架构或不知道在这些数据被捕获和存储时如何定义。相反,一个数据模型经常在数据被使用时进行应用。
4、大数据只是社会媒体内容和情感分析
简而言之,如果您的企业需要广泛地分析网络流量、IT系统日志、客户的情绪,或任何其他类型的每一天所创建的数字纪录册上的阴影,大数据提供了一个办法做到这一点。即使大数据的早期开拓者,已成为最大的基于网络的社会化媒体公司:谷歌、雅虎、Facebook,他们的服务所产生的数据,需要一种全新的解决方案,而不是分析社会媒体内容和访客情感分析。
现在,由于迅速增长的计算机电源(通常是基于云计算的)、开源软件(例如,Apache的Hadoop发行版),以及如果利用得当现代化对于数据可以产生经济价值的冲击,大数据源源不断地产生新的用途和应用。大数据带来了很多让人欣喜的成果,其中包含了一些令人深思的用途,这在今年年初曾经在“福布斯”上的相关文章中报道过。
5、NoSQL意味着非结构化查询语言
NoSQL意味着“不仅仅”是SQL,因为这些类型的数据存储提供特定领域的访问和查询技术,除了SQL或类似SQL接口。NoSQL这一类的技术,包括关键值存储、面向文档的数据库、图形数据库、大表结构和缓存数据存储。具体的本地存储的数据访问方法提供了一个丰富的、低延时的方法,通常是通过专有接口。SQL访问具有熟悉许多工具并与之兼容的优势。虽然这通常是在一些底层系统解释查询本地的“语言”的延迟费用。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
主讲人简介 张冲,海归统计学硕士,CDA 认证数据分析师,前云南白药集团资深数据分析师,自媒体 Python 讲师,全网课程播放量破 ...
2026-10-29大学里“比较有用”的证书,不能靠一张榜单排出来。同一张证,对目标岗位明确的人是简历上的能力证据,对没有方向的人只是一次报 ...
2026-10-29“比较好考”是选证书时最常被搜索、也最容易被误读的一个词。有人把它理解成报名条件宽松,有人理解成科目少、背一背就能过,还 ...
2026-10-29本科毕业能考的证书很多,但真正值得在毕业求职阶段投入的,通常只有一两个。判断顺序建议反过来:先按报考资格分档,确认“现在 ...
2026-10-29“中国证书难度排行”很难做成一张绝对总榜。原因不在证书太多,而在“难”的口径不同:有的证书难在报名资格,工作年限和专业限 ...
2026-10-29先把结论说清楚:真正以“在校学籍”为报考前置、社会人员完全不能报的证书并不多。网上流传的“大学生专属证书”清单,很多其实 ...
2026-10-29“有哪些比较好考的证书”,这个问题看似在要一份名单,实际难点在于“好考”本身没有统一口径。有人指报名不设专业限制,有人指 ...
2026-10-29“考什么证书有用”这个问题,很难有一个统一答案。同一张证书,对想进某个行业的人是敲门砖,对已经在该行业工作多年的人可能只 ...
2026-10-29大专学历能考的证书不少,但真正值得投入时间的,要先过两道筛子:第一道是“大专能不能报”,第二道是“这个证对应什么岗位、能 ...
2026-10-29“普通人能考的证书”这个问题,真正的难点不在找证书名单,而在两件事:一是你能不能报,二是考完有没有对应的岗位任务。前者看 ...
2026-10-29“女孩子容易考什么证”这个问题,真正难的不是找证书名单,而是“容易”两个字没有说清。报考门槛低,不等于考试简单;考试简单 ...
2026-10-29先说结论:不存在一张“所有女性都吃香”的证书。把“吃香”拆开看,无非三种意思——能不能进某个岗位(岗位需求)、单位认不认 ...
2026-10-29上班族选证书,最容易犯的错是先看“哪个证含金量高”,再倒推自己要不要考。更稳妥的顺序反过来:先看这个证能不能在业余时间学 ...
2026-10-29“目前哪个证书含金量高”没有放之四海皆准的答案。同一张证书,对财会在校生、想转行做数据分析的在职人员、工程从业者,价值完 ...
2026-10-29会计岗位没有一张“通吃”的证书。比较务实的思路是:先确认自己当前做的是哪一段工作——出纳与核算、成本与总账、税务申报、审 ...
2026-10-29计算机专业能考的证书不少,但真正值得先考的,取决于你准备走哪条岗位路径。比较稳妥的分类是四类:软考职称类、厂商技术认证、 ...
2026-10-29“国家认可的人工智能证书”这句话本身容易误导。证书体系里并没有一个统一的“国家认可”标签,同一个说法可能指向五种完全不同 ...
2026-10-29“各个行业都能考的证书”这句话,其实包含两个不同的问题:一是报考时不限专业、不限行业;二是考出来以后,在不同行业的岗位上 ...
2026-10-29大学生考证最容易踩的坑,是把“别人考了什么”当成自己的清单。更实用的做法是先回答三个问题:我打算投什么岗位?这个证书现在 ...
2026-10-29结论先说:大学生没有适合所有人的“必考清单”,把证书控制在2—4本核心组合较合理——1—2本通用基础,1—2本岗位技能,学有余 ...
2026-10-29