年轻人为什么会猝死？这篇Python数据分析报告不可错过

2022-02-25

作者：俊欣 来源：关于数据分析与可视化 当很多人都仗着自己年轻而对自己的身体漠不关心、眼里只想着赚钱的同时，熟不知死神已经悄悄地在逼近，今天小编就来和大家聊聊什么是猝死、猝死呈现年轻化，诱因又是 ...

手把手教你数据造假-本福特定律和统计中的造假检测

2022-02-16

来源：小伍哥聊风控 大家好，我是小伍哥，今天给大家分享一个好像有用，好像又没啥用的奇奇怪怪的知识，风控嘛，就是玩儿。 “本福特定律”（Benford's law），也称“本福特法则”，它说明一堆从实际生活得 ...

30岁，放弃国企稳定的工作，转行数据分析

2022-01-24

很多人问我会不会后悔？ 在决定转行之前，很多亲朋好友听说之后，大部分都是劝我“年龄不小了，就不要折腾了”。 以上是我的一些感受，下面我讲讲我的情况。 体制内，每天就是复制粘贴，肉体停顿，精神 ...

CDA LEVEL 1 考试，知识点《抽样分布及参数估计》

2021-03-12

1.随机试验 可以在相同的条件下重复的进行。 进行一次试验之前不能确定哪一个结果会出现。 在概率论中，随机事件（或简称事件）指的是一个被赋予机率的事物集合，也就是样本空间中的一个子集。简单 ...

工资比同事低，这些关键技能，你掌握了吗

2021-02-03

前几天公司面试了几个数据分析岗位，一连面试了一周，结果没有一个被录取，感触颇深。 数据分析师每天需要接触大量的数据，可是这些候选人连最基础的拆解业务场景，制定数据指标，以及通过什么样的工具 ...

时序数据处理难题攻略（上）

2020-11-10

作者：计量与统计 来源：公众号计量与统计 时间序列分析是根据系统观测得到的时间序列数据，通过曲线拟合和参数估计来建立数学模型的理论和方法。它一般采用曲线拟合和参数估计方法（如非线性最小二乘法 ...

如何用Python进行大数据挖掘和分析？快速入门路径图

2018-08-30

如何用Python进行大数据挖掘和分析？快速入门路径图 大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。 什么是 大数据 ？ 大数据就像它看起来那样——有 ...

数据挖掘算法:EM算法

2018-08-06

数据挖掘算法:EM算法 1. 极大似然 极大似然（Maximum Likelihood）估计为用于已知模型的参数估计的统计学方法。 比如，我们想了解抛硬币是正面（head）的概率分布θ；那么可以通过最大似然估计方法求得。 ...

机器学习之分类算法之朴素贝叶斯分类

2018-06-23

机器学习之分类算法之朴素贝叶斯分类 最近自己对机器学习比较感兴趣，做个笔记，还请大牛不喜轻喷，多多指教。 朴素贝叶斯分类基于概率论中的贝叶斯原理： P(A|B) = P(B|A)*P(A)/P(B) 所谓朴素即是特征属性之间 ...

如何解决分类中的样本倾斜问题

2018-04-09

如何解决分类中的样本倾斜问题 先来说说样本的偏斜问题，也叫数据集偏斜（unbalanced），它指的是参与分类的两个类别（也可以指多个类别）样本数量差异很大。比如说正类有10，000个样本，而负类只给了10 ...

机器学习中的概率问题

2018-03-13

机器学习中的概率问题 机器学习的过程可以理解为计算机通过分析大量的数据获得模型，并通过获得的模型进行预测的过程。机器学习的模型可以有多种表示，例如线性回归模型，SVM模型，决策树模型，贝叶斯模 ...

浅谈利用逻辑回归来解决文本分类时的模型调优

2018-01-18

浅谈利用逻辑回归来解决文本分类时的模型调优 想和数据挖掘沾点边，所以最近在复习一些算法，因为又学了点R，深感这是个统计分析挖掘的利器，所以想用R实现一些挖掘算法。 朴素贝叶斯法大概是最简单的一种挖 ...

从奇异值分解(SVD)看潜在语义索引(LSI)

2017-12-22

从奇异值分解(SVD)看潜在语义索引(LSI) 1. SVD 简介 SVD中文称为“奇异值分解”，是一种矩阵分解方法。其公式如下： 定理：设A为m*n阶复矩阵，则存在m阶矩阵U和n阶矩阵V，使得： 　　    A ...

文本主题模型之潜在语义索引(LSI)

2017-12-22

文本主题模型之潜在语义索引(LSI) 在文本挖掘中，主题模型是比较特殊的一块，它的思想不同于我们常用的机器学习算法，因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(LSI)的原理。 ...

SPSS聚类分析：二阶聚类分析

2017-12-18

SPSS聚类分析：二阶聚类分析 一、概念（分析-分类-两步聚类）。 是一个探索工具，用来揭示数据集中的自然分组（或聚类），如果不揭示，这些分组是不明显的。此过程使用的算法有多个不错的特征使其 ...

深度学习已成功应用于这三大领域

2017-11-20

深度学习已成功应用于这三大领域 在本章中，我们将介绍如何使用深度学习来解决计算机视觉、语音识别、自然语言处理以及其他商业领域中的应用。首先我们将讨论在许多最重要的AI 应用中所需的大规模神经网络的实 ...

数据科学的基本内容

2017-10-31

数据科学的基本内容 什么是数据科学?它和已有的信息科学、统计学、机器学习等学科有什么不同?作为一门新兴的学科，数据科学依赖两个因素：一是数据的广泛性和多样性;二是数据研究的共性。现代社会的各行各业都 ...

T检验、F检验和统计学意义（P值或sig值）

2017-10-27

T检验、F检验和统计学意义（P值或sig值） 1.T检验和F检验的由来 一般而言，为了确定从样本(sample)统计结果推论至总体时所犯错的概率，我们会利用统计学家所开发的一些统计方法，进行统计检定。 通过把所 ...

机器学习中的各种相似性、距离度量

2017-07-25

机器学习中的各种相似性、距离度量 本文主要关注点在于各个距离、相似度之间的优缺点，及使用时候的注意事项。 1. 闵可夫斯基距离 基本认识 该距离最常用的 p 是 2 和 1, 前者是欧几里得距离（Euc ...

样本统计量与总体的关系，抽样分布的概念性质

2017-07-23

样本统计量与总体的关系，抽样分布的概念性质 本文对抽样分布的概念、无偏差和最小偏差等性质，以及中心极限定理和样本比例的抽样分布进行总结。 1  抽样分布基本概念 参数（parameter）：参数 ...