大数据处理之道(预处理方法）

2018-02-28

大数据处理之道(预处理方法） 一：为什么要预处理数据？ （1）现实世界的数据是肮脏的（不完整，含噪声，不一致） （2）没有高质量的数据，就没有高质量的挖掘结果（高质量的决策必须依赖于高 ...

缺失数据处理-插值法

2017-12-04

缺失数据处理-插值法 在数据挖掘中，原始海量的数据中存在着大量不完整、不一致、有异常、偏离点的数据。这些问题数据轻则影响数据挖掘执行效率，重则影响执行结果。因此数据预处理工作必不可少，而其中常见工 ...

数据处理流程和数据分析方法

2017-11-21

数据处理流程和数据分析方法 大数据分析这件事用一种非技术的角度来看的话，就可以分成金字塔，自底向上的是三个部分，第一个部分是数据采集，第二个部分是数据建模，第三个部分是数据分析，我们来分别看一下。 ...

运用大数据处理技术 做好国有企业思想政治工作

2017-11-14

运用大数据处理技术 做好国有企业思想政治工作 在全面深化企业改革和互联网全面普及的新形势下，国有企业思想政治工作面临着许多新情况，国有企业要勇于挑战自我、求新达变，积极推进思想政治工作理念创新、手 ...

SPSS-数据处理-数据变量

2017-10-23

SPSS-数据处理-数据变量 spss工具中”行“用【个案】表示，“列”用【变量】表示。变量其实也就是我们在数据库中称之为字段的概念。但是在统计学中，我们称之为变量。 接下来主要介绍两点有关变量的基础知识 ...

R语言︱噪声数据处理、数据分组—分箱法（离散化、等级化）

2017-07-17

R语言︱噪声数据处理、数据分组—分箱法（离散化、等级化） 分箱法在实际案例操作过程中较为常见，能够将一些数据离散化，等级化，比如年龄段，我们并不想知道确切的几岁，于是乎可以将其分组、分段。 基础 ...

R语言时间数据处理之lubridate包

2017-05-08

R语言时间数据处理之lubridate包 在我们处理一些时间序列数据时，经常会碰到各种时间数据，比如“2016-03-03”。很多时候我们需要提取出其中的年、月、日甚至是小时、分、秒，从而可以方便的进行比较、筛选等操 ...

一个使用R语言做数据处理的实例

2017-04-21

一个使用R语言做数据处理的实例 最近一个同学找到我，希望我帮忙处理一份数据。那份数据是这样的：包含了3661行，第一行为各列的名称；包含8列，第一列为专利ID，其余7列为企业ID。 这份数据截图如下所示： ...

数据处理中，偏态数据如何正态化？

2020-07-17

在数据处理过程中，经常会遇到偏态数据。我们都知道数据整体服从正态分布，那样本均值和方差则相互独立。因此大家都会希望数据事成正态分布的，但是现实情况却是：大多数情况下，数据都是偏态分布的，这时候就需要 ...

CDA 持证人专访：杨迅谈保险行业数据产品与数据中台实践

2026-07-22

【核心关键词】埋点、产品、互联网、数据库、决策、数据分析、产品经理、商业模式、移动互联网、指标体系、运营模块、大数据平台、数据仓库、数据指标、业务系统、业务需求、业务目标、系统数据 【专访摘要】本次 C ...

从“杂乱数据”到“分析资产”：CDA数据分析师视角下的数据仓库体系与ETL

2026-07-17

 很多数据分析师能熟练写SQL、做透视表，但当被问到“数据是从哪里来的？经过哪些加工才进入数据仓库？ETL具体做了什么？”时，却常常答不上来。在企业真实环境中，数据仓库体系与ETL是连接原始数据与分析洞察的 ...

【CDA干货】MySQL固定时间间隔数据查询：语法原理、实操场景与数据分析应用

2026-07-15

在企业数据存储、业务统计与数据分析工作中，绝大多数业务数据都带有时间维度属性，例如订单创建时间、用户注册时间、支付完成时间、设备日志生成时间等。MySQL作为主流关系型数据库，承担着业务原始数据的存储与查 ...

CDA持证人专访：周婧博谈会计行业数据分析与经营诊断实践

2026-07-14

【核心关键词】产品、经营、客户、调研、销售额、宏观、会计行业、客户满意度、发展趋势、经营状况、数据分析、竞争对手、数据处理、财务报表、宏观思维、公司客户、研究公司、经营分析 【专访摘要】本次CDA持证专 ...

【CDA干货】透视表跨表数据应用原理与实战方法

2026-07-09

数据透视表是数据分析中最常用、最高效的汇总分析工具，具备快速分组、聚合计算、维度拆解、数据可视化等优势，能够轻松完成求和、计数、均值、占比等统计工作。传统基础透视表仅支持单张数据表分析，但在真实业务场 ...

【CDA干货】正态分布异常事件识别与处理方法：数据分析标准化实操指南

2026-07-09

在统计学、CDA数据分析、机器学习与商业数据研究中，正态分布是最基础、最重要的数据分布形态。绝大多数参数检验、数据建模、指标分析的前提条件，均要求数据服从正态分布，例如T检验、方差分析、Z-score标准化、线 ...

从“raw”到“ready”：CDA数据分析师视角下的标签加工方式

2026-07-09

 很多分析师在设计标签时思路清晰，但真到落地环节却面临“数据在手，不知如何转化为可用标签”的困境：或因加工方式选择不当导致标签失效，或因规则模糊造成标签口径混乱。其实，好的标签并非设计出来，而是加工 ...

【CDA干货】DataFrame数据归一化：核心原理、常用方法与Pandas实战指南

2026-07-08

在数据分析、特征工程、机器学习建模的工作流程中，原始数据往往包含多个不同维度的数值指标，例如客户交易数据中的消费金额、交易频次、平均停留时长，或是运营数据中的销售额、订单量、客单价。这些指标的计量单位 ...

【CDA干货】Pandas文本词频统计：查找关键词出现次数的实战方法与应用

2026-07-06

在数据分析工作中，文本数据处理是高频刚需场景，用户评论、客服工单、日志信息、调研问卷、商品文案等数据都包含大量文本内容。快速统计指定关键词、特定词汇在文本列中的出现次数，是文本挖掘、舆情分析、问题复盘 ...

【CDA干货】数据分析核心技能体系：从工具落地到业务价值的全栈能力指南

2026-06-23

在数字化转型全面渗透的产业背景下，数据分析已成为互联网、金融、零售、制造等几乎所有行业的核心岗位能力。很多初学者对数据分析的认知停留在“学好Excel、SQL就能入行”的层面，但实际上，数据分析是一套完整的分 ...

从“静态数据”到“动态资产”：CDA数据分析师视角下的表结构数据获取、加工与使用

2026-06-22

 很多数据分析师掌握了Excel函数、会写SQL查询，但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数据”时，却常常答不上来。其实，真正的专业能力不在于“会处理数据”，而在于“懂数据 ...