大数据应用从小做起？咱们聊聊微服务和大数据架构

这几年大数据微服务成为研发设计热点，从应用的角度应该如何解决微服务化的大数据系统架构？

什么叫数据微服务？

首先我们看看什么叫微服务，敏捷之父Martin Fowler在他的《Micro services》一文中给出了如下定义：The micro service architectural style is an approach to developing a single application as a suite of small services, each running in its own process and communicating with lightweight mechanisms, fully automated deployment. minimum of centralized management of these services , which may be written in different programming languages and use different data storage technologies。

概括来说， 微服务设计思想是一种使用若干小服务来开发单个应用的方法，每个服务运行在自己的进程中，通过轻量级的通讯机制进行信息交互，经常是基于HTTP资源API，每个小服务粒度基于业务能力大小构建，最终服务能够通过自动化部署方式独立部署，可以是由不同的编程语言实现。从上述定义我们可以看到，去中心化、原子化、独立自治、组合重构、快速原型、持续交付部署等特性是微服务的核心要素。

大数据的微服务目标

那么大数据为什么要扯上微服务呢？首先敏捷大数据的关键目标：一是快、二是小、三是证，快速出原型，小的分析目标切入，证明有效之后再扩张形成正反馈效应。

借用下很多大牛的理念，不管做研究还是做企业，要顶天立地！大数据应用如何顶天立地，很简单：

（1）大数据项目规划的目标要高远。特别是企业的大数据系统，一定不能是传统MIS系统的做法，大数据一定是个动态增量系统，数据规模在变，模型在变，参数在变，迭代、优化、持续升级交付将是常态，长期目标应该是智能化的综合管控，从生产、产品、销售、服务各个环节的一体化管控，最终形成企业决策中心，好比Google Brain, Baidu Brain，未来企业也需要决策神经中枢决策大脑。

（2）大数据具体应用要从“小”做起。小的大数据分析目标切入，搜索引擎公司刚开始的大数据分析目标可能就是提高下搜索关键词提示的准确度，售后服务智能应答、销售预测、客户细分、精准营销、智能推荐、产品故障诊断，大数据应用可以无所不在。大数据应用要从小做起，立地解决企业的实际问题。扯远了，回到大数据快、小、证的应用目标，结合微服务快速原型、快速迭代、持续交付，原子化、去中心化，组合重构高度容错性等关键特征，可以说微服务就是一种最天然的适合大数据应用的设计思想和应用架构。

好的构架设计是怎样的？

大数据系统要成功应用，一个好的架构设计至关重要，由于大数据技术生态体系庞杂，大数据基础技术覆盖数据采集、数据预处理、分布式存储、分布式计算、NOSQL数据库、多模式（离线、在线、实时、流、内存等）计算、多模态（图像、文本、视频、音频、网页等）计算、数据仓库、数据挖掘、机器学习、可视化等各个层级。如何根据不同的业务需求设计不同的架构，或者说大数据架构能否从采集、存储、计算、展示多个层面，满足不同业务分析需求的扩张。

一般来讲，大数据应用系统架构面临几个主要的挑战：高度可扩展性，横向数据大规模扩张，纵向业务大规模扩展，大规模并行处理等；高性能，快速相应不同的分析计算和查询展示；高容错性，处理失败时的修复重做；多源异构环境支持，多种来源数据，多种类型结构数据的处理；开放接口和兼容性，对原有系统的兼容和集成，提供标准的开发接口；成本效益比，要考虑时间、人力、财力等各方面的应用性价比，还有其他未列出的问题等。针对上述问题，我们初步提出一种基于微服务的敏捷大数据应用架构（如下图），从数据采集融合、数据大规模存储、数据多模式多模态计算、数据应用可视化展示四个层面进行了设计。通过基于微服务的三个抽象和汇聚层处理，来实现大数据“小”应用和系统的敏捷化服务化。

总之，大数据应用要落地，从“小”做起是关键，这个“小”其实包含多个层面，以小的业务分析切入，当然你还不能忽略小数据，更重要的是，要探索如何应用小的微服务架构，才能更好地承载未来的大数据应用架构！