数据可视从数据探索到工程落地

加快推动从数据探索到工程落地的过程是一件很有意义的事情，数据分析要如何做到尽量和数据分析的流程紧密结合，又要方便工程化落地一直困扰着许多数据分析师和Web工程师。数据分析师不想深究太多前端JS实现，Web工程师也不想插手复杂的业务逻辑与SQL。对于工程化这件事情，如果数据分析输出的图表是基于html的，那Web工程师只需要复制粘贴相应的js配置项然后引用一下js库就完成70%的工作了。但是对于数据探索来说，大部分的数据可视过程70%的工作可能都是失败、或者暂时的，花费大量精力完成的前端代码并不会对数据分析这件事情本身带来太多帮助。但是现实世界并没有这么美好，很多时候身兼数职的全能王倒是因为会给老板省钱受到青睐，本文将讨论几种可能的解决方案。

可能的解决方案
数据分析师+交互式绘图

常见的方式比如radiant(R)、caravel(Python)都具有这样的功能，数据分析师可以建立一个数据库连接，然后在连接中通过SQL语句得到想要的数据，再通过交互式的绘图方式完成数据可视化的探索。

优势：让数据分析师可以集中精力在数据分析本身，可以快速实现数据探索、建模、甚至分享页面和仪表盘。

劣势：复杂的数据分析算法实现起来比较困难，数据需要事先规整清晰好，满足多维数据分析条件才行，前端绘图库无法比较困难，整体定制性较弱。

数据分析师写JS

第一种方案建立在交互式绘图工具足够好用的基础上，对于很多非主流的startup并不一定完全适用，因为startup人手有限，很可能要求数据分析师有能自行解决前端数据可视化的能力需求。

常见的方式是通过SQl取数后调用一个JS制图库（比如echarts、highcharts、plotly等等），分析师需要在js中完成许多数据描述性统计的工作直接展示在前端页面上，然后将配置项和SQL保存在数据库中，以供后续的API查询调用。

优势：简化了数据产品落地的流程，在SQL不够用的情况下可以用JS来补足，可以快速实现定制化的前端图表输出，满足各种可视化特殊需求。

劣势：简单的数据分析算法实现也很困难，数据分析很难专注于数据本身，需要处理很多JS相关问题。

数据分析师写R

上述两种方案在数据处理上都并不是非常完美，所以说，更加理想的方案是通过用一种数据分析语言完成数据分析和数据可视的工作，既要保证数据分析的灵活性，又要保证工程落地的敏捷性变成一个很关键的事情。但是通常自己写前端JS的代码又非常的麻烦，可能还要写很多MapReduce。一些常见的描述性统计（极值均值求和计数等等）在前端实现都会耗费很多功夫，更不用说更高级的一些算法了，而大部分数据分析工作在Python或者R语言中其实是可以快速完成。那么，从Python和R中直接输出一些html图表不失为一种好的办法，当然更多场景下我是建议用R来完成。

优势：既能满足复杂的算法模型快速实现，又能满足工程敏捷落地的需求。

劣势：对于简单分析而言，不如方案一来得方便，快捷。

具体方案

在R中，我们其实可以使用 DT + ggplot2 + plotly + flexdashboard 的方案来完成数据分析图表的绘制和产出。首先，在探索分析的过程中可以使用ggplot2对数据进行各种分组暂时，这样就保证了数据分析结果维度的丰满，通过 + 的链式调用，可以在同一基础图形上变换多种展现方式进而得到更多多维分析结果。其次，利用 plotly，ggplot2 所绘制的静态图表可以快速拓展为动态图表。最后，通过 flexdashboard，可以快速排版数据可视化结果，提供一个Web服务作为输出。

简单例子

knitr::opts_chunk$set(echo = TRUE)
library(readxl)
library(dplyr)
竞品分析列表 <- read_excel("~/竞品分析列表.xls",col_names = T)
colnames(竞品分析列表) <- 竞品分析列表[1,]
竞品分析列表 <- 竞品分析列表[-1,]

DT::datatable(竞品分析列表)

library(ggplot2)
# 频数统计
p <- ggplot(data=地区频数, aes(x=地区,y=频数,fill=大小)) +
  geom_bar(stat = "identity",alpha = 0.8) +
  labs(x = '地区', y = '频数') +
  ggtitle("地域分布") +
  coord_flip() +
  theme(text = element_text(family = 'SimSun'))
p

library(plotly)
ggplotly(p)

只需要修改一下 yaml 配置并引入 flexdashboard 即可

---
title: "竞品分析"
author: "Harry Zhu"
date: "September 17, 2016"
output:
  flexdashboard::flex_dashboard:
    orientation: columns
    vertical_layout: fill
---

knitr::opts_chunk$set(echo = TRUE)
library(flexdashboard)
library(readxl)
library(dplyr)
竞品分析列表 <- read_excel("~/竞品分析列表.xls",col_names = T)
colnames(竞品分析列表) <- 竞品分析列表[1,]
竞品分析列表 <- 竞品分析列表[-1,]