R语言与机器学习中的回归方法学习笔记

2017-07-21

R语言与机器学习中的回归方法学习笔记  机器学习中的一些方法如决策树，随机森林，SVM，神经网络由于对数据没有分布的假定等普通线性回归模型的一些约束，预测效果也比较不错，交叉验证结果也能被接受。下 ...

R语言与函数估计学习笔记（核方法与局部多项式）

2017-07-20

R语言与函数估计学习笔记（核方法与局部多项式） 非参数方法 用于函数估计的非参数方法大致上有三种：核方法、局部多项式方法、样条方法。 非参的函数估计的优点在于稳健，对模型没有什么特定的假设，只是认 ...

SAS信用评分之番外篇异常值的识别

2017-06-26

SAS信用评分之番外篇异常值的识别 今天想分享给大家的是我早期建模的时候一个识别异常值的办法，也许你在“信用风险评分卡研究”看过，但是代码只能识别一个变量，我将这个代码作了改良，但是我在这里必须声明 ...

大数据在信贷行业的营销与模型应用案例

2017-06-25

大数据在信贷行业的营销与模型应用案例 随着移动端增长红利趋于减少，各媒体、搜索引擎的在线流量竞价不断走高。现如今，单纯的在线展示广告获客成本愈发透明，效果增长乏力。随着大数据 ...

机器学习及大数据相关面试的职责和面试问题

2017-06-06

机器学习及大数据相关面试的职责和面试问题 各个企业对这类岗位的命名可能有所不同，比如推荐算法/数据挖掘/自然语言处理/机器学习算法工程师，或简称算法工程师，还有的称为搜索/推荐算法工程师，甚至有的并入 ...

18本数据科学家必读的R语言和Python相关书籍

2017-05-25

前言 “这就是阅读。即将新软件安装到大脑里的过程。” 就我个人而言，我从视频和在线教程中所学到的始终没有从书本中学到的多。 了解机器学习和数据科学很容易。目前有许多开放课程，你可以马上就开始学习。但是 ...

关于如何解释机器学习的一些方法

2017-05-20

关于如何解释机器学习的一些方法 到现在你可能听说过种种奇闻轶事，比如机器学习算法通过利用大数据能够预测某位慈善家是否会捐款给基金会啦，预测一个在新生儿重症病房的婴儿是否会罹患败血症啦，或者预测一位 ...

sas信用评分之手动对数值变量分组

2017-05-12

sas信用评分之手动对数值变量分组 上周内容已经有了预告，就是除了我之前发表的最优分段，我自认为比较实际的分段方法这个方法我是借鉴了别人的经验已经根据自己的业务经验做的手工分组，相对于之前的最优分组 ...

机器学习中的范数规则化之 L0、L1与L2范数

2017-05-11

机器学习中的范数规则化之 L0、L1与L2范数 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇 ...

初级数据科学家求职时的 3 大必备能力

2017-05-08

前言 在 Quora 上有人提问，“在招聘初级数据科学家时你最看重什么？拥有数据科学的硕士学位或参加过科学训练营是否能加分？” 来自 Domino 数据实验室的首席数据科学家 Eduardo Arino de la Rubia 给出了他的回答 ...

数据挖掘算法（logistic回归，随机森林，GBDT和xgboost）

2017-05-04

数据挖掘算法（logistic回归，随机森林，GBDT和xgboost） 面网易数据挖掘工程师岗位，第一次面数据挖掘的岗位，只想着能够去多准备一些，体验面这个岗位的感觉，虽然最好心有不甘告终，不过继续加油。 不过 ...

想提高数据分析工作效率？有技巧

2017-04-10

想提高数据分析工作效率？有技巧 我刚和一位老友恢复了联系。她一直对数据科学很感兴趣，但10个月前才涉足这一领域——作为一个数据科学家加入了一个组织。我明显感觉到她已经在新的岗位上学到了很多东西。然而 ...

谷歌微软等科技巨头数据科学岗位面试题（108道）

2017-04-05

来自 Glassdoor 的最新数据可以告诉我们各大科技公司最近在招聘面试时最喜欢向候选人提什么问题。首先有一个令人惋惜的结论：根据统计，几乎所有的公司都有着自己的不同风格。由于 Glassdoor 允许匿名提交内容，很 ...

SAS信用评分之逻辑回归的变量选择

2017-03-29

SAS信用评分之逻辑回归的变量选择 关于woe的转化，这一部在之前的这篇文章：sas批量输出变量woe值中已经写了，woe也只是简单的公式转化而已，所以在这系列中就不细究了哈。这次的文章我想来讲逻辑回归。你会说 ...

大数据舆情情感分析，如何提取情感并使用什么样的工具？

2017-03-28

各类 paper 是有一定的借鉴意义的，不过这主要是学术界在单个问题上的细化，要真正从研究领域落地到大数据的处理还有很多工作要做。 一、工程上的处理流程 工程上的处理流程具体包括 ...

简单易学的机器学习算法—岭回归(Ridge Regression)

2017-03-24

简单易学的机器学习算法—岭回归(Ridge Regression) 一、一般线性回归遇到的问题     在处理复杂的数据的回归问题时，普通的线性回归会遇到一些问题，主要表现在： 预测精度：这里要处理好这样 ...

从曲线拟合问题窥视机器学习中的相关概念

2017-03-20

从曲线拟合问题窥视机器学习中的相关概念 一直徘徊在机器学习的边缘未敢轻易造次并畏惧其基本原理思想，从每一本厚厚的参考资料中都可以看出机器学习是一门跨越概率论、决策论、信息论以及最优化的学科的综合学 ...

数据挖掘十大算法之决策树详解（2）

2017-03-17

数据挖掘十大算法之决策树详解（2） ID3算法 ID3和C4.5都是由澳大利亚计算机科学家Ross Quinlan开发的决策树构建算法，其中C4.5是在ID3上发展而来的。 ID3算法的核心是在决策树各个结点上应用信息增益准 ...

数据挖掘十大算法之CART详解

2017-03-16

数据挖掘十大算法之CART详解 CART生成 CART假设决策树是二叉树，内部结点特征的取值为“是”和“否”，左分支是取值为“是”的分支，右分支是取值为“否”的分支。这样的决策树等价于递归地二分每个特征，将 ...

干货 | 基础机器学习算法

2017-03-10

本篇内容主要是面向机器学习初学者,介绍常见的机器学习算法，当然,欢迎同行交流。 哲学要回答的基本问题是从哪里来、我是谁、到哪里去，寻找答案的过程或许可以借鉴机器学习的套路：组织数据->挖掘知识->预测未来。 ...