三大案例告诉你互联网新兴企业为什么需要实时流数据分析

亚马逊AWS的Kinesis是一款实时流数据捕获和分析系统，是典型的亚马逊强调的更成熟的、非商品化的服务。Kinesis用户可以创建应用程序分析数据流，像EC2云上的其他数据捕获工具一样，数据被复制到三个设施上，任何基于Kinesis的系统都具有持久性和强大的弹性。

Kinesis以一小时之内扩展TB级数据见长，因此，它可以用于任务繁忙的大型网站，来分析事件和点击流，在金融和大型零售领域可以一展拳脚。因为Kinesis是一项管理服务，所以可以同步复制数据，不是像一个分析应用程序一样一次只能应用于一股数据流。而且，Kinesis是免费的，用户需要付出的只是用于捕获、处理和存储大数据流的服务器和存储成本。

所有这些特性，使得Kinesis成为AWS一项重要组成部分，也是测试新型云服务能否满足企业需求的先行军。在最近在美国拉斯维加斯举办的一年一度的第三届Re:Invent大会上，三家用户介绍了Kinesis的使用情况。

在线广告竞价公司DataXu

DataXu是一家美国市场云公司，他提供网络广告竞价的新机制。企业、尤其是电商的广告逐渐开始个性化地在用户上网的时候呈现在用户面前。这背后有一套实时响应的竞价流程在支撑。DataXu做的就是处理不同公司发来的竞价，最后决定在用户停留的网站推动什么广告内容。要推送什么广告和要拒绝什么广告都要在很短的时间内处理完毕。

通常来讲，完成一个竞价流程只需要几毫秒，DataXu的竞价引擎运行在IBM SoftLayer云上。但对于决定有哪些媒体机会和有哪些潜在买者的背景分析系统则是通过DataXu在AWS Kinesis服务上的应用程序实现的。

DataXu的应用程序需要不断收集广告生成的点击流和它位于网页上的位置，以及展现形式。DataXu以推送用户喜欢的内容见长。这需要对用户需求和广告推送有很多智能化处理。

DataXu三年前成立于波士顿，是由MIT校友创立的，经过三年发展，已经有300名员工，在50个国家有500多客户。

公司联合创始人兼CTO Bill Simmons表示：“我认为大数据技术的重点在于对数据的利用，而不是简单的数据收集、数据分析。”

他介绍道：“亚马逊对自动化系统支持能力很强，如果一个服务器宕机，或者一个硬盘坏掉，新的服务器或硬盘能马上补充上来。这对运营来讲十分重要。”

DataXu在亚马逊Kinesis上构建系统，尽可能了解用户性格和广告投放商特点，最终做到向正确的客户投递正确的广告。它从客户浏览网站中收集数据流，了解潜在客户。竞价引擎应用了Kinesis智能处理，引擎需要在10毫秒之内决定广告位的价格。广告的类型包括网站主页广告位、网站展示页和文本中的广告位、移动应用程序中的广告、视频中的广告和社交网络系统中的广告。

Simmons介绍到，和竞争对手相比，DataXu的优势很明显，竞争对手选择潜在买者的计算时间是100毫秒，而DataXu只需要10毫秒。

researcher 在线市场调研机构ReportsnReports.com预测，实时竞价市场会以每年41%的概率增长，到2018年，会增加到420亿美元。

DataXu自然不会错过市场的增长，它对Kinesis的依赖会更重。数据流经过分析之后，会存储到AWS的S3、AWS NoSQL系统DyanamoDB或AWS Redshift数据仓库中，以备之后的复杂分析。

Simmons表示：“所有的服务器日志和实时数据流都会下载到Kinesis。”另外，竞价引擎的数据流允许Kinesis应用程序查看哪些广告成功了，哪些广告失败了，这能改善服务质量，帮助DataXu在下一轮竞争中占据有利位置。

Simmons再次强调，亚马逊对持久性、数据可用性和吞吐性能的支持对我们来说很重要。

手游公司Gree

Gree是一家日本手游公司，出品了Casino, Crime City, War of Nations, and Knights and Dragons等游戏。Gree副总裁兼首席架构师Suhas Kulkani介绍了公司通过Kinesis了解玩家行为和体验，了解数千家玩家在游戏中的行为和他们什么时候购买游戏中的设备等。

Gree在美国、加拿大和日本都设有工作室，全球有1800名员工。公司起步于电脑，但现在90%的用户都来自于移动端。它的产品以免费或者1.99美元的低廉价格面向苹果和安卓手机用户。

Kulkani表示：“Gree的成功来自于对游戏的洞察和对游戏的优化。什么时间适合下载，从电脑到移动端的体验有什么变化，玩家对促销的反应等等，这些都体现在我们收集的海量信息中。

Gree想要了解新用户是如何在游戏中交易，和如何取得进步的。用户对于游戏的新特点有什么反应。有了这些信息，公司能提供更好的体验。

Kinesis玩家行为分析师介绍到，有了这些信息，Gree能更好地维持游戏的受欢迎度。Modern War这款游戏上线以及两年了，但它仍然很受欢迎。要维持游戏的受欢迎度，我们必须妥善处理它的难度。不能太难，也不能太简单。所以，我们很希望获得玩家的输赢比率。这对我们维系玩家很重要。

在采用AWS之前，Gree采用的是内部分析平台，很难将它用于高可用、高弹性系统。另外，对玩家行为的分析结果，需要提供给市场、游戏设计等很多部门。采用了Kinesis和其他亚马逊云服务后，这些成为了可能。

游戏崩溃经常是因为游戏设计中的潜在bug在作祟，Kinesis的近实时数据分析能够显示导致游戏崩溃的原因。这能够帮助游戏开发者更好地编写程序，测试人员做好测试。

流音乐平台Omnifone

Omnifone是另一个Kinesis用户，它在自己的数据中心构建了一套系统，为广泛的流音乐消费者提供音乐站平台。同时它也是B2B音乐平台供应商，索尼、Sirius XM, Guvera, 和 Rara都是它的客户。

Omnifone创始人兼首席工程师Phil Sant表示，他和合作伙伴们想要建立的是一家全球公司。索尼音乐就是Omnifone的客户之一。如果Omnifone成为索尼流服务的供应商，它需要再建一个数据中心作为容灾数据中心。这两个数据中心要花费150亿美元。

在提供流音乐服务的同时再建一个数据中心无异于在飞机飞行的时候进行修检。2008年，Omnifone选择了部分亚马逊云服务作为试点，现在它使用Kinesis服务用语数据分析。它已经使用了21项亚马逊的云服务了。

Omnifone正在收集客户数据，了解那种类型的音乐受欢迎，人们在移动设备上喜欢听什么歌，音乐家如何在不同的文化环境中获得成功，什么在世界各地都受欢迎。

Sant从自身的经验总结道，企业需要给予Kinesis这样的可扩展的数据捕获和分析系统，而不是自己构建。你不需要自己运行任何系统。本文来源：CDA数据分析师官网