从头认识“快数据”_数据分析师

互联网业务和技术的发展迎来了信息革命新的高潮，所带来的除了更加高效的生产和消费模式外，还带来数据的爆炸式增长。移动互联网和物联网浪潮下的数据规模与产生速度更是前所未有地加快，相应产生的数据存储、处理、分析、展示的技术与工具也层出不穷。传统企业已经具备对现有系统流程和数据比较成熟的生产和获取方式，然而如何对曾经被忽视和丢弃的数据，利用分布式、基于内存等新型技术，同时整合企业现有数据和分析结果来实现业务创新和增强，是急需解决的问题。

大数据的初始阶段，价值往往呈现出稀疏的特点，企业常常需要“沙里淘金”。在当今时代，存储海量数据的成本虽然已经降低，但从海量数据中获取价值却是昂贵的，而要及时获取价值则更加昂贵。因此，越来越多的企业选择构建大数据实时计算框架，以期从中获得实时的数据洞见，“快数据”的概念也因此应运而生。

什么是快数据？

大数据的概念本身比较抽象，一个比较有代表性的是 4V 定义,即认为大数据需满足4个特点：规模性(Volume)、多样性(Variety)、高速性(Velocity) 和价值性 (Value)。而快数据则是为了实现高速性(Velocity)而产生的。“快”来自一些众所周知的法则：时间就是金钱，数据的价值也具有时效性，数据的价值随着时间折旧越快。下表给出了不同业务处理数据快慢的比较。

从数据分析的技术实现视角分析，目前的大数据处理可以分为如下三个类型：

复杂的批量数据处理（batch processing），常见的实现框架如Hadoop/Mapreduce，数据处理的时间跨度在数十分钟到数小时之间。

增强的历史数据的交互式查询（inter-active query），常见的实现框架如Dremel/Impala，数据处理的时间跨度在数十秒到数分钟之间。

基于实时事件数据流的数据处理（event streaming processing），常见的实现框架如Oracle CEP、Strom。数据处理的时间跨度在数百毫秒到数秒之间。

以上的三种方式，最符合快数据定义的是第三种。基于实时事件数据流的数据处理不光是能够提供更快的数据处理效率，而是采用了一种完全不同于离线批处理的模式。这两种处理模式，批处理(Batch Processing)是先存储后处理(Store-then-process),而流处理则是直接处理(Straight-through processing)。这两种处理模式相辅相成，在企业构建大数据处理框架时都非常重要。一些成熟的企业在处理数据时，会把数据处理服务分成几层。一方面是重要程度，一方面是处理时效要求,比如“快数据紧急”、“快数据不紧急”和“慢数据重要”等。快数据从本质上意味着数据处理接近实时决策的能力，改善业务决策所花费的时间，流处理模式则给系统业务创新带来了更多的想象空间和创新空间。

快数据有怎样的应用场景？

人类社会的数据产生方式大致经历了3个阶段，正是数据产生方式的巨大变化才最终导致大数据的产生：

1、运营式系统阶段。数据的产生大都为运营系统产生，数据也大都是运营相关的数据。这种数据的产生特点是被动的。

2、用户创造内容阶段。互联网的发展尤其是电子商务和Web2.0的发展带来数据新的爆发阶段。互联网电子商务的发展产生了大量的用户行为数据，这完全不同于被动式运营系统所产生的数据。Web2.0的最重要标志就是用户原创内容(UGC, User Generated Content)。这个阶段数据的产生特点是主动的。

3、感知式系统阶段。今天我们正处于这个阶段的起点。这个阶段产生的核心原因在于移动互联网和物联网的发展兴起。随着技术的发展, 智能手机、可穿戴设备以及微小的带有处理功能的传感器日益成熟，各种原来“死”的设备，现在都能自动生成、采集数据，就连我们人类，也因为携带智能设备，每一次位置变化和设备使用都会产生大量可用于分析的数据。这种数据的产生特点是自动的。

简单来说,数据产生历了被动、主动和自动三个阶段。这些被动、主动和自动的数据共同构成了大数据的数据来源。

快数据可以在下面四大领域帮助企业客户：

•帮助企业提升客户体验。传统的被动型系统会丢弃很多与业务存储以及统计分析无关的数据。而快数据能够有机的和传统数据以及Hadoop类型大数据进行有机的结合，帮助企业更好的建立全视角用户视图，开发出用户驱动型的产品，提供客户导向型的服务。快数据弥补了原来用单一数据库和Hadoop平台构建全视角用户视图的制肘之处。

•帮助企业优化运营。传统企业IT运营往往缺乏把握在线营销时机的能力。在客户行为事件发生的恰当时机，以最了解客户的形式展开营销。同时，在社交媒体追踪对地点、用户和产品的提及信息，分析产品、用户、品牌之间的关联，从而优化其内部产品与服务提供的准确性，进行跟有针对性的线上和线下（O2O）产品推荐是传统企业最重要的运营能力创新

•帮助企业优化资源。通过智能设备的数据采集技术，可以实现企业对所需资源的精准优化，优化资源使用效率。在企业在运营过程中，用户产品所需要的每一种资源的具体使用情况和分布等，企业都可以进行搜集分析，就如同“电子驾驶舱”一般，实现“点对点”的数据化、图像化展现。快数据让企业的管理者管理优化企业资源的方式从“T+1”进化到“T+0”，可以更直观高效地管理自己的企业。

•帮助企业拓展服务。快数据让企业将自己的服务时机与地点拓展到客户生命周期的每一个要点。企业还可以借助社交媒体中公开的海量数据，通过快数据趋势分析舆情侦听技术、分析数据内容之间的关联度等，进而面向社会化用户开展精细化服务。

如何分辨企业是否需要“快数据”？

随着大数据已经成为IT业界炙手可热的话题，所有企业都希望尽早部署自己的大数据战略，也希望通过“快数据”获取实时数据分析能力。然而，如何分辨企业是真的需要“快数据”还是仅需要狭义的大数据解决方案？这里甲骨文提出快数据项目三问帮企业做出正确决策：

•数据分析的结果如何反作用于应用系统？

•数据是连续不断的而且有顺序、窗口、时机等要素，是来源众多的且有不同格式，数据量大但不关心存储吗？

•是否考虑三个第一：能否在第一时间，客户的第一接触点上，作出第一反应？

如果企业可以正确认识以上问题并根据自身实际情况给出肯定的答案，那么“快数据”是企业的一个良好选择。常见的快数据处理场景包括事件驱动营销与推荐，基于位置的服务，交互式营销，客户维系挽留，风险预测与评估，性能管理，媒体侦听与响应，智能设备采集分析，金融量化交易与风险管理。

甲骨文认为，为了得到全面、透彻、完善的市场洞察，大数据应完全覆盖传统数据、非结构化数据、流式数据和快数据，共同为企业构建全数据视图，提供全面的信息支撑。因此，“快数据”始终是甲骨文大数据解决方案中重要的一环，也是未来的一大关键方向。（本文来自：CDA数据分析师培训官网）

甲骨文具备完整的数据“流程”方案：从Oracle大数据一体机、Oracle大数据连接器、Exadata数据库云服务器、Exalytics商务智能云服务器，再到Oracle Endeca Information Discovery、Oracle实时决策、Oracle事件处理、R语言，尤其是强大的Oracle数据库与中间件，构成了大数据从捕获、存储、计算、处理、分析、发现、展现等全生命流程处理，能够帮助企业有效应对数据海洋，获得分析洞见。