利用大数据技术进行图像处理

近几年涌现出很多处理大型图对象的技术，其中有两类系统值得考虑：一是针对OLTP工作负载，能够快速低延迟访问小部分图数据的图数据库。二是针对OLAP工作负载，能够对图对象中的大部分数据进行批处理的图处理引擎。

知名的图数据库已有很多，但最近仍涌现出几个标新立异的项目。 Neo4j算是最老牌、最成熟的图数据库之一，但因不支持分片而依然存在可伸缩性的问题。另一个非常年轻的品牌是Titan，却在2013年成为非常流行的数据库。作为后端无关的图数据库，它支持HBase和Cassandra的可伸缩架构，并且如2013年的一篇博文所报道的，它在内部使用了一套优化的顶点和边表示法以使其能处理几十亿个边对象。

但你不必非要使用图特定数据库，更通用可伸缩的NoSQL数据库也是有效的解决方案。基于Google BigTable并在2011年开源的Apache Accumulo就是一个通用数据库的例子，它的数据记录很灵活，所以也适合存储大型图对象，同时还可以用来存储含有类型化的边和权重的图对象，2013年发布的一份技术报告表明NSA也在使用它。Cassandra或者Aerospike则是另一种数据库，它们能通过适当的数据模型，给图对象高效地建模。Facebook也构建了自己的解决方案，他们在被称为Tao的系统中使用了MySQL和Memcache组合，并正在使用这一方案为其用户提供社区图服务。

项目应用实践

基于上述理论和开源探索，下面以一个我们的应用 “图像信息识别获取大数据的分析预测系统”来进行具体描述，其中使用了图像处理和大数据的相关技术。

“图像信息识别获取大数据的分析预测系统”系统的目的是根据大量源数据，图片、文档、视频等信息，通过图像处理的手段，自动获取大量数据，并将信息入库。根据建立的数据库，训练预测走势模型，期望能够通过输入前N天的数据走势，去预测后一天的走势变化。

系统已实现了图片文档的自动识别，获取所需要信息数据并自动录入数据库。根据需要做数据分析，建立数据模型，根据历史数据预测未来数据。

例如系统自动批量截取网页中的某一张图像：

图1 采集的指数原始图像

运用图像识别技术，主要分两步：

第一步是训练样本。样本的训练过程如下：

图2 样本的训练过程

第二步，进行图像识别的处理。处理流程如下：

图3 图像识别过程

通过反复训练和识别处理就能精确获取指定日期的新闻头条和平均值的媒体指数以及具体头条的相关报道条目，并保存到数据库中。

利用大数据技术和相关算法进行预测计算，下图中未来的某个点（红点），根据此点对应日期以前的数据点计算预测未来一天的数据点，系统可以基于数据分析，发挥预测的作用：

图4 利用大数据进行指数预测

图像处理让我们挖掘有价值数据变的更容易，基于大数据的技术支持，让识别变得主动而聪明。图像处理和大数据技术将走进普通人的世界，让我们的生活变得更生动。

结语：数据收集是一个从被动到主动的过程，没有基础的技术实力，图像是好玩不起来的，图像识别过去大多是建库识别，深度学习释放了图像识别的识别领域。而高级和低级的门槛就在深度学习的研究上。国内虽然起步较晚，但发展的速度非常快。