eBay开源了一种名为 Kylin 的数据库技术，eBay在周三的一篇博客上分享了Kylin 的诸多细节，基于 Hadoop 提供 SQL 接口和 OLAP 接口，支持 TB 到 PB 级别的数据量，Kylin旨在减少Hadoop在10亿行以上数据级别的情况下的查询延迟。这些都表明eBay在使用Hadoop技术等方面取得了不俗的成绩。
以下为译文：
在线拍卖网站eBay开源了一种名为 Kylin 的数据库技术，该公司宣称这项技术能够在Hadoop上支持PB级数据存储的快速查询。eBay并不是像Google和Facebook那样的大数据公司，但它运用Hadoop等技术已经达到了一个相当大的规模，Kylin就是一个很好的例子，这说明它在该领域的创新已经走在前头。
eBay在周三的一篇博客上分享了Kylin的细节，包括REST API、ANSI-SQL兼容性、连接分析工具Tableau和Excel，以及在一些查询上低于秒级的延迟。然而， Kylin最独特的特性是它如何处理scale。eBay表示，它可以查询数十亿行数据——在高达14TB的数据集上，速度比使用传统的Apache Hive工具快得多。
Kylin工作在一个很高级别上，它从Hive取数据；使用MapReduce预处理大型查询；然后将这些结果作为键值cuboids存储在HBase上。当用户用一组特定的变量值运行一个Kylin查询，结果已经准备就绪，不需要再重新处理，这和已经使用多年的分析型数据库完全不同。
下面是eBay分享的Kylin如何在公司内部的使用情况：
开放Kylin的时候，我们已经有一些eBay业务单元在生产中使用它。我们最大的用例是120+亿源记录生成的14 +TB cube。它的90%查询延迟小于5秒。现在，我们的用例瞄准分析师和业务用户，他们可以轻松的通过Tableau分析并且得到结果——不再需要Hive查询，shell命令等等。
想要知道Kylin在与下一版本的Hive、Spark SQL以及Hadoop SQL分析的其他选项较量中谁会胜出，将是一件非常有趣的事情，Kylin作为YARN资源管理器一部分可以在Apache Hadoop的最新版本上获得。我猜它会慢一点，但比内存选项或那些不需要MapReduce处理的更具扩展性，不过这对于那些仍然在运行更早软件版本的用户可能是一个可靠的选择。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
在互联网产品运营、用户增长的实战场景中，很多从业者都会陷入一个误区：盲目投入资源做推广、拉新，却忽视了“拉新后的用户激活 ...
2026-02-06在机器学习建模过程中，特征选择是决定模型性能的关键环节——面对动辄几十、上百个特征的数据（如用户画像的几十项维度、企业经 ...
2026-02-06在CDA（Certified Data Analyst）数据分析师的日常实操中，表格结构数据是贯穿全流程的核心载体，而对表格数据类型的精准识别、 ...
2026-02-06在日常办公数据分析中，我们经常会面对杂乱无章的批量数据——比如员工月度绩效、产品销售数据、客户消费金额、月度运营指标等。 ...
2026-02-05在分类模型（如风控反欺诈、医疗疾病诊断、客户流失预警）的实操落地中，ROC曲线是评估模型区分能力的核心工具，而阈值则是连接 ...
2026-02-05对CDA（Certified Data Analyst）数据分析师而言，数据分析的价值不仅在于挖掘数据背后的规律与洞察，更在于通过专业的报告呈现 ...
2026-02-05在数据分析实战中，我们经常会遇到“多指标冗余”的问题——比如分析企业经营状况时，需同时关注营收、利润、负债率、周转率等十 ...
2026-02-04在数据分析场景中，基准比是衡量指标表现、评估业务成效、对比个体/群体差异的核心工具，广泛应用于绩效评估、业务监控、竞品对 ...
2026-02-04业务数据分析是企业日常运营的核心支撑，其核心价值在于将零散的业务数据转化为可落地的业务洞察，破解运营痛点、优化业务流程、 ...
2026-02-04在信贷业务中，违约率是衡量信贷资产质量、把控信用风险、制定风控策略的核心指标，其统计分布特征直接决定了风险定价的合理性、 ...
2026-02-03在数字化业务迭代中，AB测试已成为验证产品优化、策略调整、运营活动效果的核心工具。但多数业务场景中，单纯的“AB组差异对比” ...
2026-02-03企业战略决策的科学性，决定了其长远发展的格局与竞争力。战略分析方法作为一套系统化、专业化的思维工具，为企业研判行业趋势、 ...
2026-02-03在统计调查与数据分析中，抽样方法分为简单随机抽样与复杂抽样两大类。简单随机抽样因样本均匀、计算简便，是基础的抽样方式，但 ...
2026-02-02在数据驱动企业发展的今天，“数据分析”已成为企业经营决策的核心支撑，但实践中，战略数据分析与业务数据分析两个概念常被混淆 ...
2026-02-02在数据驱动企业发展的今天，“数据分析”已成为企业经营决策的核心支撑，但实践中，战略数据分析与业务数据分析两个概念常被混淆 ...
2026-02-02B+树作为数据库索引的核心数据结构，其高效的查询、插入、删除性能，离不开节点间指针的合理设计。在日常学习和数据库开发中，很 ...
2026-01-30在数据库开发中，UUID（通用唯一识别码）是生成唯一主键、唯一标识的常用方式，其标准格式包含4个短横线（如550e8400-e29b-41d4- ...
2026-01-30商业数据分析的价值落地，离不开标准化、系统化的总体流程作为支撑；而CDA（Certified Data Analyst）数据分析师，作为经过系统 ...
2026-01-30在数据分析、质量控制、科研实验等场景中，数据波动性（离散程度）的精准衡量是判断数据可靠性、稳定性的核心环节。标准差（Stan ...
2026-01-29在数据分析、质量检测、科研实验等领域，判断数据间是否存在本质差异是核心需求，而t检验、F检验是实现这一目标的经典统计方法。 ...
2026-01-29
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
