如何应对数据缺失和异常值？

2023-06-20

数据缺失和异常值是数据科学中常见的问题，可能会对数据分析和模型建立造成影响。在本篇文章中，我将探讨如何识别、处理和应对这些问题。 首先，我们来了解什么是数据缺失和异常值。数据缺失是指在数据集中存在一些 ...

如何处理缺失数据和异常值？

2023-06-20

缺失数据和异常值是数据处理过程中经常遇到的问题，在数据分析和建模中，这些问题可能会导致结果不准确或者偏差较大。因此，有效地处理缺失数据和异常值是至关重要的。 一、处理缺失数据 缺失数据是指在某个变量中存 ...

如何处理缺失值或异常值？

2023-06-15

缺失值与异常值是数据分析中常见的问题，它们可以影响模型的准确性和可靠性。因此，在进行数据分析之前需要对这些值进行处理。本文将介绍如何处理缺失值和异常值的方法。 一、缺失值的处理 缺失值是指数据集中某些记 ...

如何处理缺失值和异常值？

2023-06-15

缺失值和异常值是数据处理中常见的问题，因为它们会对分析结果产生负面影响。在本文中，我们将讨论如何处理这些问题。 一、缺失值的处理 缺失值是指数据集中的某些值缺失或未记录，造成了在特定属性上的数据 ...

如何识别和删除异常值？

2023-06-15

异常值（Outliers）是指在数据集中出现的与其他数据点明显不同的观测值，可能会对分析结果产生显著影响。因此，正确识别和删除异常值是数据分析的重要步骤之一。本文将介绍如何识别和删除异常值。 一、如何识别异常 ...

R语言如何批量剔除异常值？

2023-04-07

R语言是一种强大的数据分析工具，其提供了丰富的函数和工具帮助我们处理数据。异常值通常会对分析结果产生不良影响，因此对于数据清洗的过程中，剔除异常值是必不可少的步骤之一。在这篇文章中，我将介绍如何使用R语 ...

R语言：异常值检验、离群点分析、异常值处理

2017-07-17

R语言：异常值检验、离群点分析、异常值处理 笔者寄语：异常值处理一般分为以下几个步骤：异常值检测、异常值筛选、异常值处理。其中异常值检测的方法主要有：箱型图、简单统计量（比如观察极值） 异常值处理方 ...

R语言-如何处理回归中的异常值点

2017-05-30

R语言-如何处理回归中的异常值点 异常观测值 一个全面的回归分析要覆盖对异常值的分析，包括离群点、高杠杆值点和强影响点。这些数据点需要更深入的研究，因为它们在一定程度上与其他观测点不同，可能对结 ...

sas信用评分之不用检查异常值的最优分组

2017-05-29

sas信用评分之不用检查异常值的最优分组 今天的更新比以往晚了一天，假期综合症第一天，我到现在已经喝了第三杯咖啡，实现上周的预告，这种更新一个不用检查异常值的数值变量最优分组。其实这代码我本来不想拿 ...

教你使用3σ原则来进行异常值处理

2020-07-31

在python数据清洗过程中，我们经常会遇到一些偏离正常范围的数据，例如人的体重为56吨，这些数据叫做异常值，如果不做异常值处理，会对我们最终的数据分析造成影响。小编今天给大家带来了一种很实用的异常值处理方 ...

【CDA干货】神经网络最后一层：激活函数加还是不加？核心逻辑与选择指南

2025-12-05

在神经网络模型搭建中，“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活，导致回归任务输出异常；有人在分类任务中省略激活函数，使得模型无法输出合理概率分布。实际上，这一问题 ...

【CDA干货】特征相对重要性：解锁模型鲁棒性与可解释性的双重密钥

2025-12-05

在机器学习落地过程中，“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据，将难以通过合规审查；电商推荐模型若对异常点击数据敏感，会导致推荐效果剧烈波动。而 ...

CDA一级10天上岸！在职党亲测有用

2025-12-04

 作者简介：张少伟，软件工程专业研究生，从事信息化工作（数据查询、统计分析） ” 一、CDA是什么？ CDA（Certified Data Analyst）是指在金融、电信、零售、制造、能源、医疗医药、旅游、咨询等行业从事数据的 ...

【CDA干货】回归分析中调整后R方为负？本质、成因与应对策略

2025-12-04

在回归分析的结果解读中，R方（决定系数）是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例，取值通常在0到1之间。但在实际分析中，不少初学者会遇到“调整后R方为负值”的反常情况：明明 ...

【CDA干货】经纬度热力图：从离散坐标到空间密度的可视化方法

2025-12-04

在城市规划、物流配送、文旅分析等场景中，经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标（如外卖订单地址、景区打卡点、车辆定位）转化为色彩渐变的密度分布图，直观呈现“哪里是热点、哪里是冷区 ...

【CDA干货】季节分解法：解锁时间序列数据的“四季密码”

2025-12-03

每到“双十一”，电商平台的销售额会迎来爆发式增长；每逢冬季，北方的天然气消耗量会显著上升；每月的10号左右，工资发放会带动零售消费的小幅波动——这些数据的周期性波动，藏着业务运行的“季节密码”。季节分解 ...

【CDA干货】神经网络损失函数：没有“最佳值”，但有“最优解”

2025-12-02

在神经网络训练中，损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜，却在损失降至0.1还是0.01时陷入迷茫；资深开发者则明白，纠结“具体降到多少”本身就是 ...

【CDA干货】数据标准化后出现负值？别急！场景化解决全方案

2025-12-02

在数据预处理的纲量统一环节，标准化是消除量纲影响的核心手段——它将不同量级的特征（如“用户年龄”“消费金额”）转化为同一尺度，为模型训练或业务分析扫清障碍。但很多数据从业者会陷入“负值恐慌”：Z-score ...

【CDA干货】数据驱动增长：三大行业A/B测试落地案例与数据分析实战

2025-12-01

在数据驱动决策成为企业核心竞争力的今天，A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实验环境”，用严谨的数据分析剥离偶然因素，让每一个业务决策都有数据支撑。然而，多数 ...

描述性统计：CDA数据分析师的“数据透视镜”

2025-12-01

引言：数据时代的“透视镜”与“掘金者” 在数字经济浪潮下，数据已成为企业决策的核心资产，而CDA数据分析师正是挖掘数据价值的“掘金者”。在分析师的工具箱中，描述性统计是最基础也最核心的“透视镜”——它无需 ...