京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据催生数据中心设计新思维_数据分析师
预计到2020年,互联设备的数量将达到500亿。而众多的设备在2017年可能就会产生高达7.7 ZB的互联网数据。随着运营商放弃了客户端—服务器以及局域网架构,转而青睐侧重在服务器、存储与网络中采用虚拟化的设计,如此大量的数据处理需求给数据中心生态系统带来巨大挑战。为此,越来越多的公司开始选择基于移动计算、云服务、大数据和社交网络等领先技术的更加灵活且开放的平台。
亚马逊、谷歌与Facebook等创新领袖正在积极构建超大规模的数据中心,以处理海量的带宽需求与工作负载。最近,Facebook在开放计算项目主办的开放计算峰会分享了一个关于其数据中心开发的经典案例。开放计算项目由Facebook创立,旨在通过分享服务器、存储与网络的设计,开发高性能、低成本且节能的数据中心。据Facebook透露,开放平台已经帮助其节省了12亿美元的成本。
最近,许多企业正投入云计算的怀抱,他们一般从第三方购买计算容量,节约运营自身数据中心所需的资本与运营费用。因此,云服务提供商已成为对开放平台超大规模数据中心投资力度最大的投资者之一。以溢价提供高级服务的传统服务器提供商可能将面临来自开放平台提供商的激烈竞争,后者的成本更低且基础架构更灵活、可扩展。
使用开放平台的方法意味着须整体看待数据中心开发项目。虽然服务器是核心技术,但需要考虑包括服务器、存储、网络以及软件在内的整体系统,并以全新方法将这些组件更好地整合在一起,让数据中心实现真正的突破性变革。
虽然开放平台触及的不仅仅是服务器,但在满足下一代数据中心的传输容量、处理速度与节能高效的需求方面,服务器仍发挥着关键作用。在构建服务器时,必须通过一台物理服务器容纳多台虚拟服务器,以便在虚拟化成为业界标准的情况下提高服务器利用率。服务器需要使用既快速又节能的多核处理器,且必须与日益虚拟化的存储及网络系统无缝互动。
许多半导体公司与服务器制造商现在都在开发运行于ARM处理器、而非行业标准x86架构的服务器。ARM处理器普遍用于智能手机、平板电脑及其他便携式设备以及随物联网(IoT)趋势而出现的新兴设备、联网家电、汽车和各种网络传感器。ARM有助于各公司开发拥有创新型多核CPU的处理器,实现真正的服务器级性能,并面向网络、通信、大数据、存储及安全应用提供业界最佳的虚拟化加速器。
现代数据中心还需要更快速的网络连通性,千兆以太网将被10GbE、40GbE并最终被100GbE规模的管网所替代。10GbE结构网络(网络中的流量可流向各个方向)将有利于节能、易管理性以及通过网络虚拟化灵活使用计算资源。
同时,为了提高数据中心内架顶式(ToR)交换机与服务器网卡(NIC)之间的速度,降低两者间以太网连通性成本,最近成立的行业组织25Gb以太网联盟制定了新的以太网规范说明,以允许数据中心网络应用25Gbps或50Gbps以太网链路协议。
为云计算而构建的现代数据中心还通过所谓的存储解聚开创了存储技术新天地。近些年来,存储因服务器计算而聚合在一起,因此数据可以更快速地从存储中检索出来。但是,随着固态硬盘成为新的存储媒介,上述服务器的存储成本开始升高。现在,计算与存储之间的连接速度得到了提升,存储可以与计算再次分开或者解聚及共享。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在分类变量关联分析中(如 “吸烟与肺癌的关系”“性别与疾病发病率的关联”),卡方检验 P 值与 OR 值(比值比,Odds Ratio)是 ...
2025-11-05CDA 数据分析师的核心价值,不在于复杂的模型公式,而在于将数据转化为可落地的商业行动。脱离业务场景的分析只是 “纸上谈兵” ...
2025-11-05教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-05教材入口:https://edu.cda.cn/goods/show/3151 “纲举目张,执本末从。” 若想在数据分析领域有所收获,一套合适的学习教材至 ...
2025-11-04【2025最新版】CDA考试教材:CDA教材一级:商业数据分析(2025)__商业数据分析_cda教材_考试教材 (cdaglobal.com) ...
2025-11-04在数字化时代,数据挖掘不再是实验室里的技术探索,而是驱动商业决策的核心能力 —— 它能从海量数据中挖掘出 “降低成本、提升 ...
2025-11-04在 DDPM(Denoising Diffusion Probabilistic Models)训练过程中,开发者最常困惑的问题莫过于:“我的模型 loss 降到多少才算 ...
2025-11-04在 CDA(Certified Data Analyst)数据分析师的工作中,“无监督样本分组” 是高频需求 —— 例如 “将用户按行为特征分为高价值 ...
2025-11-04当沃尔玛数据分析师首次发现 “啤酒与尿布” 的高频共现规律时,他们揭开了数据挖掘最迷人的面纱 —— 那些隐藏在消费行为背后 ...
2025-11-03这个问题精准切中了配对样本统计检验的核心差异点,理解二者区别是避免统计方法误用的关键。核心结论是:stats.ttest_rel(配对 ...
2025-11-03在 CDA(Certified Data Analyst)数据分析师的工作中,“高维数据的潜在规律挖掘” 是进阶需求 —— 例如用户行为包含 “浏览次 ...
2025-11-03在 MySQL 数据查询中,“按顺序计数” 是高频需求 —— 例如 “统计近 7 天每日订单量”“按用户 ID 顺序展示消费记录”“按产品 ...
2025-10-31在数据分析中,“累计百分比” 是衡量 “部分与整体关系” 的核心指标 —— 它通过 “逐步累加的占比”,直观呈现数据的分布特征 ...
2025-10-31在 CDA(Certified Data Analyst)数据分析师的工作中,“二分类预测” 是高频需求 —— 例如 “预测用户是否会流失”“判断客户 ...
2025-10-31在 MySQL 实际应用中,“频繁写入同一表” 是常见场景 —— 如实时日志存储(用户操作日志、系统运行日志)、高频交易记录(支付 ...
2025-10-30为帮助教育工作者、研究者科学分析 “班级规模” 与 “平均成绩” 的关联关系,我将从相关系数的核心定义与类型切入,详解 “数 ...
2025-10-30对 CDA(Certified Data Analyst)数据分析师而言,“相关系数” 不是简单的数字计算,而是 “从业务问题出发,量化变量间关联强 ...
2025-10-30在构建前向神经网络(Feedforward Neural Network,简称 FNN)时,“隐藏层数目设多少?每个隐藏层该放多少个神经元?” 是每个 ...
2025-10-29这个问题切中了 Excel 用户的常见困惑 —— 将 “数据可视化工具” 与 “数据挖掘算法” 的功能边界混淆。核心结论是:Excel 透 ...
2025-10-29在 CDA(Certified Data Analyst)数据分析师的工作中,“多组数据差异验证” 是高频需求 —— 例如 “3 家门店的销售额是否有显 ...
2025-10-29