让大数据更实时和可视化_数据分析师

2014年12月12-14日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中科院计算所与CSDN共同协办的  2014中国大数据技术大会 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天，以推进行业应用中的大数据技术发展为主旨，拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办，CCF大数据专家委员会承办，南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开，并与技术大会共享主题报告。

本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者，深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展，NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势，OpenStack生态系统对于大数据计算需求的思考，以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用，分享实际生产系统中的技术特色和实践经验。

携程资深软件工程师廖晓格将在“大数据技术”分论坛带来“让大数据更实时和可视化”的演讲。大数据不仅是数据规模大，而且最好能实时查看和分析。 实时和可视化拉近了大数据与普通用户的距离，更加贴近业务需要。携程在大数据实时和可视化方面做了不少努力，实现了以下目标，廖晓格将在演讲中分享携程在其中的经验和技术：

1. 通过hbase、storm、spark、yarn等hadoop生态圈整合公司应用（dashboard、clog、ubt、BI），让数据更加实时，更加可视化；
2. 实时查看整个公司各种指标的变化；
3. 实时收集、查看全网站所有日志；
4. 实时统计用户行为数据（PV，性能，转化率等）；
5. 实时反爬虫；
6. 快速执行adhoc查询。

廖晓格，携程资深软件工程师

有6年Hadoop相关应用开发经验，先后在PPTV，eBay，携程参与开发过相应大数据平台相关应用，目前在携程Data Infrastructure team负责大数据平台的运维和开发工作。

CSDN：你所在的公司，都曾使用过哪些大数据技术？你对这些技术满意的地方和不满意的地方分别有什么？

廖晓格：我们公司比较重视大数据技术，我们主要使用的技术是Hadoop生态环境的各种开源框架，storm，spark等。满意的地方是他们都是开源的，所以遇到问题的时候总会找到解决方案，而且社区也很活跃， 能够获得很多帮助。同时也会遇到很多bug，需要对使用的框架很了解，才能很好的使用它，幸亏我们有很强大的运维和开发团队支持，不断优化，不断解决问题。

CSDN：根据你的了解，目前类似的企业中，在数据方面，遇到的最大困难是什么？

廖晓格：据我了解，每个公司都有很多数据，每天T级或P级的数据，但是大部分都是搞技术的不懂业务，搞业务的不懂技术，这样就不会很快很有效率的利用数据来帮助业务，所以让大数据可视化很重要，业务人员可以很方便的获取他们想要的数据，可以省去很多沟通的成本。

CSDN：在大数据领域，目前还有哪些技术是你正在观察和研究的，为什么你看好这些技术？

廖晓格：Storm，Streaming流式计算和Spark是我现在正在观察和研究的，互联网的竞争压力很大，所以很多东西要快，谁比较快就占领了优势，大数据也一样，数据早点出来，业务就可以早点做决策。我们也是不断改进，不断往这个目标前进。

CSDN：请谈谈你在这次大会上即将分享的话题。

廖晓格：我分享的是Make big data visualizable and real-time，让大数据更加实时和可视化，携程每天上T的数据都是实时从网站，手机等各种应用端流到服务端，如果没有可视化，根本不知道用户发生什么行为，哪个产品用户更加喜欢。如果计算很慢，我们将会不能给用户很好的反馈，不能及时发现和解决各种应用端遇到的各种问题，这样就不能给用户很好的体验，将会流失大量的用户。我们目标在第一时间为用户提供最优的服务。本文来源：CDA数据分析师官网