大数据应用价值发现的三大方法

关于大数据的讨论，一方面人们需要厘清大数据的概念，开发适用的大数据系统和工具，探索大数据的应用模式等，另一方面人们更关心如何将大数据的价值变现。这对于一个企业来说尤其重要，否则，收集和存储了大量的数据，消耗了大量的钱财，如果大数据不能被很好地利用，从经济上讲就是不合算的，这样的事情也不会长远。

大数据价值的发现与其所处的应用场景密切相关。概括起来，大数据价值发现可以划分为三大类：数据服务、数据分析和数据探索。数据服务是面向大规模用户，提供高性能的数据查询、检索、预测等服务，通过直接满足用户需求而将数据价值变现的形式;数据分析是分析人员利用经验，通过对大规模数据使用特定的计算模型进行较为复杂的运算，从而发现易于人们理解的数据模式或规律所进行的数据价值变现的一种运算形式;数据探索是一种利用数据分析和人机交互的结合，通过不断揭示数据的规律和数据间的关联，引导分析人员发现并认识其所未知的数据模式或规律，其价值更多地体现在对未知途径的数据模式和规律的探索。

1. 数据服务

数据服务针对用户非常明确的数据查询和处理任务，以高性能和高吞吐量的方式实现大众化的服务，是数据价值最重要也是最直接的发现方式。由于要处理大众化的服务请求，每个服务任务必须能够被快速地处理掉，因此，数据服务的单个任务负载不能过于复杂，单任务直接处理的数据不能太大，任务对应的用户需求和采用的数据处理方法必须是明确的。一些典型的数据服务包括事务处理、数据查询、信息检索、数据预测。

事务处理是传统数据库范畴的价值发现形式，它针对的主要是任务关键型的数据服务，如银行记账、商业交易等; 数据查询主要是面向快速查找或修改数据的服务需求，它比事务处理更简单，对数据一致性要求没那么强，但对服务的吞吐量要求非常高;信息检索是指从大规模的数据集中快速查找满足用户需求的资料或数据片段的过程;数据预测和数据分类被很多人认为是一种数据分析任务，其实，很多针对个体的数据预测和分类任务实际上是一种数据服务，它使用数据分析得来的预测模型，对个体数据实例进行预测，从而能够高并发地为大规模用户提供分类和预测服务，进而更好地体现出数据的价值。

2. 数据分析

数据分析是指用适当的统计分析方法对大量数据进行分析或建模，提取有用信息并形成结论，进而辅助人们决策的过程。在这个过程中，用户会有一个明确的目标，通过“数据清理、转换、建模、统计”等一系列复杂的操作，获得对数据的洞察，从而协助用户进行决策。常见的数据分析任务又可以被进一步划分为描述型分析、诊断型分析、预测型分析、策略型分析。

描述型分析的主要特点是对数据代表的含义进行描述性的揭示，通过数据统计分析揭示数据隐含的现象，从而帮助人们更好地进行决策。

诊断型分析主要用来揭示一些现象背后的成因，因此，它比描述型分析更深入。很多数据挖掘方法与诊断型分析密切相关。比如相关性分析和因果关系的分析等，都是想通过对数据的深度分析揭示描述型分析所发现的某些现象背后的成因。

预测型分析主要是使用机器学习技术，对现有的大数据进行深度分析，构建数据预测和分类的模型，从而更好地支持数据预测和分类服务。

策略型分析也称指导型分析，是在分析过程中减少甚至排除人的参与，在给定目标的驱动下，直接帮助人们找到好的策略，作用于大数据应用，使得未来数据指标能够按照设想的某些趋势发展。它是数据分析的高级阶段，更能发挥出大数据的价值。

总之，数据分析一般基于大量数据和较为复杂的运算模型，其结果信息量通常很大，适用于宏观决策。而对于细节层面信息的获取，数据分析缺乏如索引和访问控制等方面的技术支持。如何在一个平台上，既支持宏观的分析，也支持细节的分析，是当今一个挑战的技术难题。

3. 数据探索

数据探索是指针对目标可变、持续、多角度的搜索或分析任务，其搜索过程是有选择、有策略和反复进行的。它将以找到信息为目的的传统信息检索模式变为以发现、学习和决策为目的的信息搜寻模式。这样的搜索模式结合了大量的数据分析与人机交互过程，适合于人们从数据中发现和学习更多的内容和价值。

对于数据探索，用户可以在微观层面(数据搜索)和宏观层面(数据分析)之间进行自由切换，用交互式的方式探索并发现数据的价值。

目前，随着大数据研究的兴起，探索式搜索这种交互式分析和探索数据价值的方式，逐渐引起人们的重视，还有很多问题等待研究者们进行深入的研究。

数据服务强调从微观层面获取满足用户需求的精准信息，数据分析强调从宏观层面为用户提供数据洞察，进而提供决策支持，而数据探索则需要在宏观和微观两个层面进行自由切换。大数据蕴含大价值，数据服务、数据分析和数据探索是3个层次的数据价值发现方法。在很多应用下，这3类方法需要混合使用，才能更好地发现大数据的价值。