
大数据查询怎样才能避免越来越慢_数据分析师培训
大多数大型组织都实现了一个或多个大数据应用程序。随着他们积累越来越多的金融交易、销售数据和客户交互,他们就可以生成更加准确的销售预报和预测客户需求趋势。这将转换为更大的市场份额和更高的收益。
然而,随着积累的数据越来越多,内部用户和分析师会执行更多的报表和预报。这些都会导致额外的查询、分析及报表。这个循环还在继续:数据增长带来更好的分析,而分析又会产生更多的报表。最终,大数据应用程序会充满大量的数据,从而影响查询性能。
如何避免这个问题呢?
大数据信息获取与存储
信息技术(IT)支持人员可以从几个方面去主动解决大数据应用程序的性能问题。第一个是数据获取与存储,有时候也称为提取、转换与加载(ETL)。
大数据应用程序会将它们的数据存储在一个大型数据库或者一个特殊的混合硬件/软件设备中。有时候也会混合使用这两种方法。大型数据库可能是关系数据库(如IBM DB2)或数据库机器(Teradata)。设备是一种整合大规模并行I/O通道和超大磁盘阵列的新数据存储手段。在很多时候,它们还需要与一个现有数据仓库协同工作,因为可能组织中大量现有分析数据都已经存储在这个数据仓库中。
数据的最后一个方面是帮助我们确定需要对运营数据执行多少预处理。这有时候称为数据整理。常见的例子包括处理缺失或无效的数据,将代码替换为描述性分类数据,以及为具有唯一自然键的实体分配代理键。
数据从运营系统和外部数据源到达应用程序。IT必须保证来自运营系统的数据元素的正确性,其格式要适合批量加载。数据通道既要有足够快的数据传输速度,也要有足够大的带宽去支持多数据流的交行传输。大数据应用程序的日常增长每天都会增加GB数量级的数据。
一定要保证这些数据能够快速高效地传输。
大多数据数据库管理系统(DBMS)和设备都有一些用于加载数据的专有工具。这些工具有时候要求输入数据使用一种固定的格式。要检查这些需求及其他选项,确定是否有一些方法可以保证数据加载速度满足要求。对于关系数据库,有一种常用方法是合适分区表。例如,在表中定义用4个分区来存储一天的数据。这样IT人员就可以设计一个加载流程来并发加载4个分区。
最后一领域是数据存档和净化。虽然表面上数据量越多就自然可以推出分析更好,但是一些历史数据可能变老或失效。例如,一些已停止销售产品的销售数据,公司停止服务地区的客户数据等。这些数据应该净化或存档。净化可以减少所需要的数据存储量,而存档则允许在将来需要数据时重新加载数据。无论是哪一种情况,减小工作数据库的大叔都可以加快查询速度,因为它不再需要过时的数据。
大数据用户
谁是你的用户,他们如何查询你的数据?典型的用户是一位业务分析师和主题专家,他们理解你的业务数据,具有高明又高效地访问大数据应用程序的技术知识。这可能意味着他们精通SQL等查询语言。另一个方法是安装分析软件,展示图形化业务数据视图,并且基于用户界面来构建查询。
在许多组织中,他们安装的第一个大数据应用程序就是为了解决一些特殊问题,或者为了分析预定问题,即用例。分析师已经知道哪一些查询可以产生有用且可操作的智能。
接下来,第一次分析的结果是产生“如果……将会怎么样(what if)”的问题,这会导致需要访问更多数据的更多查询。随着这些查询提供数量更多的有用结果,管理层自然会开始将它们调整为常规报表。
IT支持人员必须规划查询在数量与复杂度方面的增长需求。这比规划未来数据存储容量增长要复杂得多。复杂查询要求数据库管理系统选择一条高效的数据访问路径。这可能要求增加给数据库一些提升性能的特性,如索引或数据分区。有可能多个查询使用同一个数据集合,如按区域划分的销售数据或按月份及客户类型划分的客户数据。在这些情况下,就有可能预先计算好这些数据集合,将它们单独存储在不同的位置,从而大大提升查询性能。
另一个关注的问题是系统资源。可能有一些资源是有限的或受性能约束,如CPU或磁盘存储。这一类资源的可用性将决定大多数可见的性能指标和查询耗时。
IT人员应该监控资源消耗和收集常规性能测量数据。将这些指标制成分时图表就可能反映出一些趋势。在一些时候,使用一种资源就有可能减轻另一种资源的结束。例如,如果CPU资源紧张,导致查询速度变慢,那么就可以给数据表增加索引。这样会占用更多的磁盘存储空间,但是可以加快数据访问速度。其他可用的方法包括增加专用于排序处理的磁盘存储,给DBMS增加内存,以便有更多的内存用于缓冲数据。
大数据查询
这自然就到了使用查询优化方法的时候。大多数DBMS都有一个分析查询访问路径的特性,它称为解释。解释的输入是一个查询,它会分析多个可能的数据访问路径,然后每一个路径指定成本,然后执行具有最低成本的访问路径。在这里,成本是指数据查询时所需要的CPU使用率和磁盘I/O。
这种查询路径优化要求DBMS提供一个关于数据库或设备所存储数据的统计模板。这种统计信息包括每一个数据元素的最大值和最小值、平均值、最常见值及其他数据分布信息。
假设有一个表包含按日期划分的销售数据,其中交易日期从01-01-2014到12-31-2014。只查询01-01-2014的数据查询可能只需要访问数据表中很小的一部分;因此,这时很可能需要增加一个索引访问路径。
类似地,在上面这个表中,假设将数据分割为12个数据集或分区,其中每一个分区对应一个月份。那么查询一月份数据的查询可能只需要访问其中一个分区,从而筛选数据时不需要扫描整个数据表。
显然,分析的需求会对所生成查询的类型产生重大影响;同时,可用的存储方法和数据访问路径将会影响查询性能。最明显的结论是IT支持人员必须与分析人员紧密协作,定期开会一起审查报表需求和文档可行的数据访问策略。此外,IT人员还应该开发一种捕捉所有已提交查询的方法,这样通过对它们分析就可能得到通用模式。
小结
为了避免大数据应用程序潜在的性能问题,IT人员应该主动与分析人员协调,收集数据访问指标。在技术方面,要用文档记录数据提取、转换和加载流程,确定有一些方法可以提升数据查询速度或处理更大的数据容量。要考虑净化过时数据,并且确定是否有一些提升数据性能的通用手段,如分区或索引会很有效。
开发一个用户库概要。用户数量有多少,他们创建查询的技术水平有多高,以及他们提交查询的频率有多快?这些数据在将来是否会继续增长?
捕捉用户查询,执行解释流程,然后保存访问路径。要用这些数据去分析性能问题和趋势。
要监控用于支持大数据应用程序的系统资源。预报趋势,特别是那些已经或可能会成为约束的资源。在这些情况下,要使用现有资源开发一些方法,抵消其中一些约束。
最后,要定期与业务分析人员会面,讨论你得到的结果和将来可能的变化。这种交流和协调是与用户保持良好关系的重要条件。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15在机器学习入门领域,“鸢尾花数据集(Iris Dataset)” 是理解 “特征值” 与 “目标值” 的最佳案例 —— 它结构清晰、维度适 ...
2025-10-15在数据驱动的业务场景中,零散的指标(如 “GMV”“复购率”)就像 “散落的零件”,无法支撑系统性决策;而科学的指标体系,则 ...
2025-10-15在神经网络模型设计中,“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少,模型可能 “欠拟合”(无法捕捉数据 ...
2025-10-14