京公网安备 11010802034615号
经营许可证编号:京B2-20210330
无论是“小数据”时代还是现在的“大数据”时代,对数据的挖掘、存储、分析和使用从来就不是一件简单的事儿,而且这件事的难度还会随着数据量的增长而变得越来越大。同时,单个企业若是仅仅想要进行数据的存放和处理,去配备一整套Hadoop集群也并不经济。于是,阿里云准备将这件事做成一门生意,帮助企业对他们手中的数据进行存储和分析。
不久前,阿里云正式对外公布了一个叫做ODPS的商用服务。ODPS的全称是Open Data Processing Service,也就是开放数据处理服务。企业可以将来自前端的大量数据集中导入到阿里云中存储,这一点类似于亚马逊此前推出的Redshift数据仓库。
不仅如此。官方还表示,在这个基础上,阿里云将会开放更多的数据分析服务。目前,ODPS开放了SQL功能,以用于数据仓库和日志分析。这就像是Google此前推出的BigQuery——它可以让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。同样地,现在企业也可以使用ODPS来对数据进行处理了。
在价格和性能方面,ODPS是按照使用量付费的:存储1GB的数据,每个月收取大概0.5元钱左右;阿里云还官方公布了一个数据处理能力供参考:6个小时ODPS可以处理100PB的数据。至于至关重要的商用后的SLA(服务等级协议),ODPS产品经理汤子楠披露了一部分:在技术层面,阿里云承诺放在ODPS中的数据不会泄漏,阿里巴巴和阿里云也不会查看;在服务层面,鉴于不能承诺所有提交的数据处理作业都能计算成功,如果是阿里云方面的原因导致作业失败,那么阿里云则不会收费,而且对于离线作业来说,只对作业成功的那次进行收费。
在此前,ODPS一直被应用于阿里内部的业务系统中,一个典型的应用就是阿里小贷公司的审核和放款流程。阿里巴巴的官方数据称,有超过36万人从阿里小贷借款,最小贷款额为1元,并且能够实现3分钟申请、1秒放款、0人工干预。在这些背后,阿里小贷每天需要处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型……这些都是放在ODPS上存储和分析的。阿里云还表示,淘宝和支付宝等阿里巴巴的部分核心数据业务,也都运行在ODPS平台之上。而在ODPS的产品页面则拿出了阿里巴巴的关联公司天弘基金和众安保险作为案例来进行宣传。
从目前来看,ODPS开放的还只是针对大量数据的数据仓库功能,以及部分数据分析服务。但阿里云显然并不想止步于此。
你可以把阿里云此前一个叫做“御膳房”的服务看作ODPS未来发展方向的缩影。简单来说,“御膳房”实际上是对淘宝和天猫电商数据的挖掘、存储、分析和服务输出的整套服务。在“御膳房”中,淘宝和天猫平台上的大量电商数据被放到ODPS上进行存储,阿里巴巴还引入了第三方ISV(独立软件开发商)来针对这些数据开发分析工具和模型进行分析,最后他们将分析结果拿到服务市场上去销售给卖家——所谓针对淘宝天猫用户进行的精准广告营销,就是通过这种方法得来的。
在ODPS被开放出来之前,“御膳房”完全是阿里巴巴内部的电商平台上生长出来的产物,从数据来源,到数据取向,都是服务于淘宝和天猫平台。而在开放以后,就会有更多类型的企业和数据(包括一些阿里巴巴内部不太擅长处理的非结构化数据)被放在ODPS上,而使用范围也将不仅仅局限于阿里巴巴平台了。
用更加直白的语言来解释就是,ODPS此次作为PaaS被开放了出来进行商用,接下来,企业自身、或者借用ISV开发的工具再在ODPS之上进行数据分析,然后使用这些分析结果。
不过,ODPS现阶段仍有不少问题。汤子楠坦言,对非结构数据的支持将会是ODPS面临的一大挑战。因为ODPS最早是基于阿里巴巴内部的业务成长起来的,而阿里巴巴分析的数据主要是交易数据和用户行为数据——这些数据大多都是结构化和半结构化的。这决定了,ODPS最初开放的服务面向的也都是结构化数据,比如无人分析、数据仓库、BI(商业智能)分析。而随着更多的企业使用ODPS,一定会有大量非结构化的数据放到这个平台上来,这将会是ODPS接下来要探索的很重要的一个方面。
另外则是数据的传输问题。阿里云官方的建议是直接使用ODPS的数据仓库,这样就可以直接调用ODPS之上的分析工具;但如果客户的数据并不存储在阿里云上,也想使用ODPS对数据进行分析,则只能通过API使用https协议传输——这意味着网络传输不得不受到网速的限制。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-05在数据库数据查询、业务报表统计、多表关联分析中,LEFT JOIN左连接是使用率最高的SQL关联查询语句。其核心特性是保留左表全部数 ...
2026-06-05 很多数据分析师能熟练地写SQL、做透视表、算描述性统计,但当被问到“如何预测用户流失概率”“如何归因销量下滑的关键因素 ...
2026-06-05任何一款产品从诞生、普及到最终退出市场,都会遵循一套固定的发展规律,这就是产品生命周期理论。在市场竞争日益激烈、产品迭代 ...
2026-06-04在Excel数据分析、办公统计、业务报表制作场景中,数据透视表是数据汇总、分类统计、快速复盘的核心工具,能够高效完成海量原始 ...
2026-06-04 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-06-04在问卷调查与社会科学数据分析中,卡方检验是最常用、最基础的非参数检验方法,广泛应用于市场调研、用户分析、行为统计、满意度 ...
2026-06-03【核心关键词】贷款、报表、课程、专业、建模、缺失值、营销、互联网、银行、办公自动化、数据分析、数据预处理、特征工程、贷 ...
2026-06-03 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-06-03逻辑回归是数据分析、机器学习、统计建模中应用最广泛的二分类预测模型,常用于风险判断、行为预测、归因分析等场景。在SPSS、Py ...
2026-06-02数字经济时代,市场竞争日趋同质化,用户消费需求愈发个性化、多元化,传统依托经验、粗放式、广撒网的营销模式弊端日益凸显。长 ...
2026-06-02 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-06-02在市场竞争日趋饱和、用户需求不断细分的当下,企业创业创新、产品迭代与市场拓展不再依赖经验决策,而是需要系统化、工具化的商 ...
2026-06-01【核心关键词】调度、岗位、数据库、企业、报表、培训、程序、数据分析、数据加工、业务部门、企业数据、调度工具、业务指标、 ...
2026-06-01 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-06-01在数据统计分析、数据清洗、异常值识别与数据分布研究中,箱型图是最直观、高效、专业的可视化分析工具。相较于柱状图、折线图仅 ...
2026-05-29Tkinter是Python内置的标准GUI图形界面库,具备无需额外安装、调用简单、兼容性强、轻量化高效等优势,是Python快速开发桌面小程 ...
2026-05-29 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-05-29【核心关键词】大数据、经理、专业、金融、客户、传统、建模、数据产品、互联网金融、产品经理、数据分析、金融行业、数据模型 ...
2026-05-28 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-05-28