如何应对数据缺失和异常值？

2023-06-20

数据缺失和异常值是数据科学中常见的问题，可能会对数据分析和模型建立造成影响。在本篇文章中，我将探讨如何识别、处理和应对这些问题。 首先，我们来了解什么是数据缺失和异常值。数据缺失是指在数据集中存在一些 ...

如何处理缺失数据和异常值？

2023-06-20

缺失数据和异常值是数据处理过程中经常遇到的问题，在数据分析和建模中，这些问题可能会导致结果不准确或者偏差较大。因此，有效地处理缺失数据和异常值是至关重要的。 一、处理缺失数据 缺失数据是指在某个变量中存 ...

如何处理缺失值或异常值？

2023-06-15

缺失值与异常值是数据分析中常见的问题，它们可以影响模型的准确性和可靠性。因此，在进行数据分析之前需要对这些值进行处理。本文将介绍如何处理缺失值和异常值的方法。 一、缺失值的处理 缺失值是指数据集中某些记 ...

如何处理缺失值和异常值？

2023-06-15

缺失值和异常值是数据处理中常见的问题，因为它们会对分析结果产生负面影响。在本文中，我们将讨论如何处理这些问题。 一、缺失值的处理 缺失值是指数据集中的某些值缺失或未记录，造成了在特定属性上的数据 ...

如何识别和删除异常值？

2023-06-15

异常值（Outliers）是指在数据集中出现的与其他数据点明显不同的观测值，可能会对分析结果产生显著影响。因此，正确识别和删除异常值是数据分析的重要步骤之一。本文将介绍如何识别和删除异常值。 一、如何识别异常 ...

R语言如何批量剔除异常值？

2023-04-07

R语言是一种强大的数据分析工具，其提供了丰富的函数和工具帮助我们处理数据。异常值通常会对分析结果产生不良影响，因此对于数据清洗的过程中，剔除异常值是必不可少的步骤之一。在这篇文章中，我将介绍如何使用R语 ...

R语言：异常值检验、离群点分析、异常值处理

2017-07-17

R语言：异常值检验、离群点分析、异常值处理 笔者寄语：异常值处理一般分为以下几个步骤：异常值检测、异常值筛选、异常值处理。其中异常值检测的方法主要有：箱型图、简单统计量（比如观察极值） 异常值处理方 ...

R语言-如何处理回归中的异常值点

2017-05-30

R语言-如何处理回归中的异常值点 异常观测值 一个全面的回归分析要覆盖对异常值的分析，包括离群点、高杠杆值点和强影响点。这些数据点需要更深入的研究，因为它们在一定程度上与其他观测点不同，可能对结 ...

sas信用评分之不用检查异常值的最优分组

2017-05-29

sas信用评分之不用检查异常值的最优分组 今天的更新比以往晚了一天，假期综合症第一天，我到现在已经喝了第三杯咖啡，实现上周的预告，这种更新一个不用检查异常值的数值变量最优分组。其实这代码我本来不想拿 ...

教你使用3σ原则来进行异常值处理

2020-07-31

在python数据清洗过程中，我们经常会遇到一些偏离正常范围的数据，例如人的体重为56吨，这些数据叫做异常值，如果不做异常值处理，会对我们最终的数据分析造成影响。小编今天给大家带来了一种很实用的异常值处理方 ...

【CDA干货】特征单变量筛选：从原理到实战，高效精简特征的核心方法

2025-10-21

在特征工程流程中，“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度，剔除无意义、冗余的特征（如 “用户 ID”“无效时间戳”），既能降低后续建模的计算成本（如减少 50% 特征可 ...

CDA 数据分析师：数据读取实战指南 —— 筑牢数据分析的 “第一关”

2025-10-21

在数据分析全流程中，“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA（Certified Data Analyst）数据分析师而言，数据读取是 “分析质量把控的第一关”：若读取 ...

【CDA干货】数据清洗如何守住真实性？从方法到落地的保真指南

2025-10-17

数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”，但前提是不破坏数据的真实业务含义。现实中，很多数据清洗操作却走向 “失真陷阱”：比如为了 “数据整齐” 删除真实的 ...

【CDA干货】透视表备注添加完全指南：从基础批注到动态更新

2025-10-17

在数据汇总分析中，透视表凭借灵活的字段重组能力成为核心工具，但原始透视表仅能呈现数值结果，缺乏对数据背景、异常原因或业务逻辑的说明。例如销售报表中 “某区域销售额骤降 30%”“某产品退货率异常” 等关键信 ...

CDA 数据分析师：以量化策略分析框架为刃，破解企业决策的 “数据密码”

2025-10-17

在企业管理中，“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益，电商靠 “运营拍板” 做促销可能导致成本失控，零售靠 “店长经验” 备货可能造成库存积压。而量化策 ...

【CDA干货】鸢尾花识别案例：一文读懂特征值与目标值的核心定义与应用

2025-10-15

在机器学习入门领域，“鸢尾花数据集（Iris Dataset）” 是理解 “特征值” 与 “目标值” 的最佳案例 —— 它结构清晰、维度适中，包含了植物学中可量化的形态特征，以及明确的品种分类目标，几乎所有初学者的第一 ...

数据分析师必备技能体系：从工具到思维，构建数据驱动的核心竞争力

2025-10-14

在数字化浪潮中，数据分析师已成为企业 “从数据中挖掘价值” 的核心角色 —— 他们既要能从海量数据中提取有效信息，又要能将分析结果转化为业务决策。但成为一名合格的数据分析师，绝非 “会用 Excel 做表”“会写 ...

CDA 数据分析师：以数据仓库体系为基，以 ETL 为刃，筑牢数据驱动的 “数据底座”

2025-10-13

在企业数字化转型过程中，“数据孤岛” 是普遍面临的痛点：用户数据散落在 APP 日志、注册系统、客服记录中，订单数据分散在交易系统、支付平台、物流系统里 —— 这些碎片化的数据无法直接支撑深度分析（如用户生命 ...

【CDA干货】序列模式挖掘：解码用户行为逻辑，驱动业务增长的核心技术

2025-10-11

在数字化时代，用户的每一次行为 —— 从电商平台的 “浏览→加购→购买”，到视频 APP 的 “打开→搜索→观看→收藏”，再到银行 APP 的 “登录→查询余额→转账”—— 都构成了带有时间顺序的 “行为序列”。这些 ...

【CDA干货】正交试验无显著结论？原因、排查与优化策略：让 “无结果” 成为有效指导

2025-10-10

在科研攻关、工业优化、产品开发中，正交试验（Orthogonal Experiment）因 “用少量试验覆盖多因素多水平组合” 的高效性，成为筛选关键影响因素、优化工艺参数的核心工具。但实际操作中，常出现 “试验结束后，通过 ...