大数据技术论坛（下）：大数据时代的掘金术

2014年12月12-14日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中科院计算所与CSDN共同协办，以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会（Big Data Technology Conference 2014，BDTC 2014）暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。

用友软件高级工程师 白小勇

2014中国大数据技术大会第二日上午的大数据技术论坛，用友软件高级工程师白小勇主持了下午的论坛。前通联数据首席战略官龙白滔、VMware高级产品线经理董波、亚信科技大数据事业部数据资产管理部门产品总监高伟、阿里巴巴数据平台事业部ODPS技术专家徐冬、携程资深软件工程师廖晓格、品友互动数据架构师廖海仁六位专家主要就大数据技术的相关问题展开了演讲。

前通联数据首席战略官 龙白滔

前通联数据首席战略官龙白滔，带来了名为“金融投资大数据实践分享”的主题演讲。龙白滔从金融大数据和传统大数据的区别；金融数据的生产过程；金融大数据的存储；金融大数据的分析和挖掘；分析在线交互式金融编程分析研究平台五个方面对金融大数据实践进行分享。

金融大数据和消费互联网大数据的区别体现在以下几个方面：

• 研究对象：消费互联网大数据比较偏重研究个体的行为体征，而金融大数据大数据比较偏重研究群体行为和趋势；
• 数据相关性：消费互联网大数据与个体强相关的数据比较容易获得（例如浏览器cookie），数据噪音小，金融大数据与群体行为强相关的数据比较难获得，数据噪音大；
• 算法复杂度：消费互联网大数据因为数据质量高，所以算法可以相对较简单，而金融大数据因为数据噪音大，因此对算法要求很高；
• 数据容量：相比消费互联网大数据，金融大数据的数据量更大，互联网大数据+ 金融专门的大数据（例如行情数据、行业数据、分析师报告等）；
• 数据类型：消费互联网大数据有多种结构化和非结构化数据，而金融大数据的数据类型更多，互联网的数据类型+ 金融特别的数据类型，例如时间序列数据；
• 数据速度：消费互联网大数据一般数据处理速度要求不高，而金融大数据对数据处理速度要求比较高，例如量化交易、动态风险定价、反信用卡欺诈、实时新闻分析和处理等；

其中，他表示时间序列数据是未来最重要的数据类型，所以掌握时间序列数据的存储、处理以及关键算法是十分重要的。比如KDB是传统金融机构的标配，Cassandra在国外的物联网和能源领域已经得到了比较成功的应用。随后，龙白滔还介绍了如何把结构化、标准化数据形成有意义的金融行业数据。龙白滔还提到相比国外，国内对前言技术的掌握和应用还差得比较远。

VMware高级产品线经理 董波

VMware高级产品线经理董波，向大家分享了“VMware为大数据应用铺平道路 ”主题演讲。企业对大数据的应用通常要经历三个阶段：概念验证阶段，快速低成本的验证大数据技术带来的价值；生产应用阶段，满足应用SLA，满足系统扩容需求；以及Hadoop即服务阶段，快速敏捷高效的满足各个业务的差异化需求。

vSphere Big Data Extension能够帮你快速简便部署，让你全力关注业务，并且BDE可与第三方管理工具无缝集成。vRealize Operations Manager，能够实现系统全面监控，智能自动分析管理，基于预测主动运维。vSpherevMotion能够消除计划或非计划宕机时间，检测失效自动恢复。

董波在演讲中还提到，运用Hadoop集群管理平台，可平衡处理企业中各部门集群使用需求。他说，当多个部门需求Hadoop集群服务，并且需求各不相同时，需要建设自助服务平台来解决此类问题。VMware推出的VCAC产品，可弹性伸缩处理各部门的集群使用需求，并且减少IT管理人员处理压力。

亚信科技大数据事业部数据资产管理部门产品总监 高伟

亚信科技大数据事业部数据资产管理部门产品总监高伟，与现场参会者分享了主题为“数据资产管理——大数据时代的掘金术 ”。数据资产管理是企业或组织采取的各种管理活动，用以保证数据资产的安全完整，合理配置和有效利用，从而提高带来的经济效益，保障和促进各项事业发展。高伟表示尽管“数据是资产”概念已经广为人知，但“如何管理数据资产”仍然缺少成熟理论以及工具手段，存在市场空白。

传统数据管理方式不适合数据资产管理要求，亚信提倡建立一体化全流程的数据资产管理体系，具有以下关键特性：完善的数据治理与管控，高效的数据资产应用，以及创新的数据资产运营。最后，高伟总结道，数据资产管理已达到与CRM相同的高度，并呼吁数据资产管理技术人员，要考虑如何将技术与业务及商业相结合。

阿里巴巴数据平台事业部ODPS技术专家 徐冬

阿里巴巴数据平台事业部ODPS技术专家徐冬，分享了主题为“ODPS MapReduce 对外开放实践 ”。演讲中，徐冬主要谈到ODPS（Open Data Process System）在阿里云巴巴的使用情况；在ODPS上搭建LOT模型；MapReduce实现过程；MapReduce API介绍以及MapReduce API开放用户实践。ODPS作为阿里大规模数据处理的底层平台，每日提交数十万计任务，底层是跨数据中心的超大规模集群，支持多种编程模型、范式。

其中，徐冬提到MapReduce API在两个方面进行了调整，包括：取消对MapReduce自定义类型支持、希望将MapReduce API做成类似Hadoop。最后，他表示MapReduce作为开放服务，明年年初将会对用户开放。

携程资深软件工程师 廖晓格

携程资深软件工程师廖晓格，分享了主题为“让大数据更实时和可视化”。廖晓格主要介绍了携程大数据平台架构，HBase在携程的应用，携程产品的生态介绍，以及未来的挑战。

携程每天的日志量40T，总条数上千亿条，每天用户行为数据30T，并且业务数据飞速增长，所有数据都需要及时反馈给用户，应用或监控。携程大数据平台架构与Hadoop生态环境类似，底层使用HDFS，上面是调度系统，并且通过MapReduce、Spark做离线数据分析，Storm和HBase做在线数据分析。其中HBase是按业务划分，底层构建HBase门禁系统。携程还构建了一套Mobile监控系统和UBT（User Behavior Tracking）系统，用来跟踪用户行为和用户流量，并形成直观的可视化图像。

品友互动数据架构师 廖海仁

品友互动数据架构师廖海仁，带来了名为“DSP 基于数据的实时竞价优化”的主题演讲。首先，他首先介绍DSP优化中的五个特征：

• DSP跟其他AdNetwork/Serach大不相同，它作为封闭系统，永远与其他DSP去竞争；
• 对于DSP而言，广告主可能有非常多样化的KPI，结算方式也是多样化，广告主KPI可能是CTR、CPC、CPA、ROL/CPNC等；
• 在投放的过程中，对Budget consumption的预估更严格；
• 要准确预估CTR/CVR；
• 点击和曝光不平衡；

随后，廖海仁重点介绍DSP优化过程中重要问题：第一，Ranking，搜索广告，每个广告有不同的KPI；第二，sample Selection bias，解决问题前需要进行CTR预估；第三，mobile optimization，mobile优化与PC有很大的差别，需要单独解决。