大数据技术论坛（上）：Spark、Hadoop技术成主角

2014年12月12-14日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中科院计算所与CSDN共同协办，以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会（Big Data Tec就hnology Conference 2014，BDTC 2014）暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。

2014中国大数据技术大会第二日上午大数据技术论坛上，百度大数据部副总监薛正华和中国移动集团公司业务支撑系统部项目经理何鸿凌共同主持了上午的论坛。网易NTSE／TNT引擎负责人胡炜、英特尔大数据首席架构师戴金权，VMware资深业务解决方案架构师介文清，搜狐移动研发部经理刘佳， Admaster技术副总裁卢亿雷5位专家主要专注于大数据技术展开演讲。

大数据技术论坛主持人：百度大数据部副总监 薛正华

大数据技术论坛主持人：中国移动集团公司业务支撑系统部项目经理 何鸿凌

胡炜：网易数据库压缩技术

12月14日，在大数据技术论坛上午的演讲中，网易NTSE／TNT引擎负责人胡炜发表主题为“网易数据库压缩技术”的演讲。胡炜认为理想中的压缩技术应该是无论你提供哪种压缩技术，它都应该是智能化的、在数据的压缩、解压以及在压缩数据访问达到高效率、无论用什么方式去压缩和解压，都要保持灵活性。

网易NTSE／TNT引擎负责人 胡炜

对于数据库压缩特点，胡炜总结出五点：

1. 无损压缩技术。一般来说数据库压缩一般会采用通用算法；
2. 数据分布影响。它代表内容的随机性，代表了所谓压缩的极限，其实不同的数据对采用不同的压缩算法，可能会导致它的数据最后压缩效果会有很大的差别。如果我是一个非常非常冗余的数据，最后可能会得到非常好的压缩效果；
3. 硬件影响。硬件对于压缩来说，也是一个非常重要的影响因素。因为无论是存储，还是CPU，还是内存，随着日新月异的发展，它其实对压缩算法的选择来说，会有一个非常大的导向性。
4. 压缩单位。压缩单位对数据库压缩有非常大的影响，它可以做到像整个文件级的压缩，或者说是一个数据表级别的压缩，或者是做到像块级别，页面级别的压缩。甚至更小到行级的，到一个属性级别的压缩。采用不同的压缩单位，也相当来说对于这样的压缩来说，会产生比较大的不同。
5. 吞吐率要求。数据库压缩对吞吐率要求非常高，无论选择哪种算法，都不能过多地牺牲吞吐率。如果你采用文件压缩的策略，如果每次访问都要去解压整个文件，那可能是一个得不偿失的做法。 

最后，胡炜介绍网易大数据压缩方式是在全局建立字典上，通过区分数据属性进行灵活的在线压缩、解压，访问效率相比传统压缩提高2倍到10倍左右。接下来，胡炜计划通过更多的统计信息，实现采集字典的自动划分功能。

戴金权：基于Spark软件栈的下一代大数据分析

英特尔大数据首席架构师 戴金权

英特尔大数据首席架构师戴金权表示，大数据深入分析大致分为两类：类似SQL数据分析，进行关系型云运算；达到实时、快速的数据分析速度。他认为，利用Spark构建下一代大数据分析，能够为用户构建新的应用场景及新的分析应用，并举例说明Spark与SQL结构式数据结合的方式，对

Hive和Parquat进行数据处理。

介文清：12306：改变传统思路解决问题的NoSQL实践

介文清以12306为例展开演讲，介绍如何运用NoSQL建设余票查询系统、订单查询系统，并且，实现每秒1万次订单查询、余票10分钟更新一次的频率。

VMware资深业务解决方案架构师 介文清

介文清表示传统设计的系统架构无法解决，12306网站数据流量问题。系统切换时，将SQL数据库进行抽取，送到NoSQL集群中，数据量进行并行运算，开始新旧系统工作负载在90%—10%之间，运行正常之后可完全放在新系统中运行。

刘佳：基于全网内容的新闻客户端推荐系统

刘佳针对新闻客户端遇到的内容分类质量识别图文、视频、音频、游戏、数据稀疏、内容冷启动、用户冷启动、噪音处理：三俗内容等棘手问题的处理方式展开演讲。

搜狐移动研发部经理 刘佳

首先，刘佳介绍搜狐移动端新闻推荐的两个特点：

1. 广告系统。广告系统，搜狐追求转化率、辅助指标ROI、用户效果。
2. 搜索系统。搜索引擎中，追求对内容理解、内容爬取、文本关键词主题提取、文本分类、主题分类、内容索引、垃圾过滤、page rank、反作弊等等。

随后，刘佳介绍新闻推荐系统中三俗内容的处理方式，他说：“推荐系统出现三俗内容，可以提高18%-20%的转化率，虽然可以暂时提高点击率，但是对用户的粘性有很大的影响。我们会通用户阅读分布、用户属性分布统计性和精细化的分类进行筛选三俗内容。整体处理后，转化率下降到15%，推荐总量提升20%，用户使用频次也有20%的提升。”

卢亿雷：Hadoop在广告监测技术的实践

卢亿雷围绕广告营销数据流程、广告监测技术特点、广告监测数据差异、广告数据挖掘平台架构、ADH在广告营销数据挖掘的特、AdMaster数据分析平台六点展开演讲。

Admaster技术副总裁 卢亿雷

演讲中，卢亿雷表示，ADH是针对广告行业做出来的Hadoop，他有以下五个特点：

1. 日志信息或数据放在Hadoop里，会自动生成所需要的数据格式；
2. 内置广告算法，MR可以提供Hadoop服务；
3. 对于HBase做出改造，例如项目排序、项目索引等做出相应优化；
4. 优化Hadoop调度系统；
5. 集成Spark。

在广告监测数据中，卢亿雷总结出：不同IP库系统导致出现不同地域结论；监测代码部署时点的不同；监测机制和指标定义的差异；移动APP较不稳定的网络环境等是导致数据差异的主要因素。