数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

啊啊啊啊啊吖

R扩展包dplyr笔记分享（2）

2 分组动作 group_by()以上5个动词函数已经很方便了, 但是当它们跟分组操作这个概念结合起来时, 那才叫真正的强大! 当对数据集通过 group_by() 添加了分组信息后,mutate(), arrange() 和 summarise() 函数会自动对这些 tbl 类数据执行分组操作 (R语言泛型函数的优势).例如: 对飞机航班数据按飞机编号 (TailNum) 进行分组, 计算该

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

R扩展包dplyr笔记分享（1）

初始化0.1 安装install.packages("dplyr")0.2 示范数据library(Lahman): Lahman 包里的棒球比赛数据集 Battinglibrary(hflights): hflights 包里的飞机航班数据0.3 数据集类型将过长过大的数据集转换为显示更友好的 tbl_df 类型:hflights_df

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

用glmnet包实现lasso

当我们使用数据训练分类器的时候，很重要的一点就是要在过度拟合与拟合不足之间达成一个平衡。防止过度拟合的一种方法就是对模型的复杂度进行约束。模型中用到解释变量的个数是模型复杂度的一种体现。控制解释变量个数有很多方法，例如变量选择(feature selection)，即用filter或wrapper方法提取解释变量的最佳子集。或是进行变量提取(feature structure)，即将原始变量进行某

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

关于R程序的问题

data1 0,2]0的值替换为9，但是不明白为啥这样，第一步r判断 aa1[,2]>0，对b字段的所有结果进行是否大于0判断，结果应该是或者否，第二部aa1[是或者否,2]

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

R中调取函数的方式心得

在大部分的视频课里调用函数的时候教授的MAC OS没有使用library,应该是和windows的不同，一开始还以为是剪切了视频。加载包函数都是一样的，要么用library,要么用require。如果觉得library或require太麻烦，得逐个读取程序包的话，可以安装BBmisc或者rmsfuns，可一次性读取或安装后读取程序包。

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

R编程入门--对象和类

R是一种基于对象(Object)的语言，所以你在R语言中接触到的每样东西都是一个对象，一串数值向量是一个对象，一个函数是一个对象，一个图形也是一个对象。基于对象的编程(OOP)就是在定义类的基础上，创建与操作对象。对象中包含了我们需要的数据，同时对象也具有很多属性(Attribute)。其中一种重要的属性就是它的类(Class)，R语言中最为基本的类包括了数值(numeric)、逻辑(logi

0.0000

0

1

0

关注作者

收藏

zxq997

mysql workbench 停止工作，解决。

突然一下就打不开了，每次一打开，就显示mysql workbench 已停止工作，重新装了也不起作用。。报错如下图：解决办法：找到mysql路径下的workbench文件，然后删除它即可。

296.9473

1

4

0

关注作者

收藏

wangjuju123

决策树、逻辑回归、线性回归使用时注意事项以及模型过拟合策略

决策树缺点和注意事项：决策树的最大缺点是原理中的贪心算法。因此它所做的选择只能是某种意义上的局部最优选择。若目标变量是连续变量，那么决策树就不使用了，改用回归模型若某些自变量的类别种类较多，或者自变量是区间型时，决策树过拟合的危险会增大。这种情况需要分箱或多次模型验证，确保其具有稳定性。对区间型变量进行分箱操作时，无论是否考虑了顺序因素，都有可能因为分箱丧失了某些重要信息，尤其是当分箱前

17.3451

1

1

0

关注作者

收藏

wangjuju123

逻辑回归和决策树的结合使用

一种是从决策树分析中找出数据局部结构，作为在逻辑回归中构建依变量（interaction)的依据。另一种是在需要对预测因子进行离散化处理时，利用决策树分析决定最佳切分点。还有一种是把决策树分类的最终结果作为预测变量，和其他协变量一起代入回归模型，又称为“嫁接式模型”。从理论上讲，嫁接模型综合了决策树和逻辑回归的优点。最终节点包含了数据中重要的局部结构，而协变量可以拾补被决策树遗漏的数据整体结构

0.0000

0

2

0

关注作者

收藏

wangjuju123

Logistic 回归

主要用于预测，如：收集了若干人的健康记录，包括年龄、性别、抽烟史、日常饮食及家庭病史等变量的数据，因变量为得了癌症（Y=1），没有得癌症（Y=0）。通过训练得出得癌症和没得癌症的概率拟合公式。当有一批新的数据时，可以根据拟合公式得出是否得癌症的概率。逻辑回归和决策树的主要差别：1．对于拥有缺失值的数据，决策树可以应对，而逻辑回归需要挖掘人员预先对缺失数据进行处理。2．逻辑回归对数据整体结

0.0000

0

1

0

关注作者

收藏

wangjuju123

随机森林（Random Forests）

随机森林是一种重要的基于Bagging的集成学习方法，可以用来做分类、回归等问题。随机森林有许多优点：具有极高的准确率随机性的引入，使得随机森林不容易过拟合随机性的引入，使得随机森林有很好的抗噪声能力能处理很高维度的数据，并且不用做特征选择既能处理离散型数据，也能处理连续型数据，数据集无需规范化训练速度快，可以得到变量重要性排序容易实现并行化随机森林的缺点：当随机森林中

0.0000

0

4

0

关注作者

收藏

wangjuju123

Bagging和Boosting的概念与区别

随机森林属于集成学习（Ensemble Learning）中的bagging算法。在集成学习中，主要分为bagging算法和boosting算法。我们先看看这两种方法的特点和区别。Bagging（套袋法）bagging的算法过程如下：从原始样本集中使用Bootstraping方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集。（k个训练集之间相互独立，元素可以有重复）对于k个训练

0.0000

0

1

0

关注作者

收藏

291294878

Python函数any()和all()的用法及区别介绍

用python判断一个string是否包含一个list里的元素。使用python的内置函数any()会非常的简洁fruits = ['apple', 'orange', 'peach']str = "I want some apples"if any(element in str for element in fruits):print "string contains some fru

285.3200

1

6

0

关注作者

收藏

wangjuju123

Matplotlib之柱状图

前面了解了折线图在python中的基础绘制之后，今天让我们一起感受一下柱状图的绘制过程。柱状图(bar chart)，是一种以长方形的长度为变量的表达图形的统计报告图，由一系列高度不等的纵向条纹表示数据分布的情况，用来比较两个或以上的价值（不同时间或者不同条件），只有一个变量，通常利用于较小的数据集分析。柱状图亦可横向排列，或用多维方式表达。主要用于数据的统计与分析，早期主要用于数学统计学科中

0.0000

0

3

0

关注作者

收藏

wangjuju123

Matplotlib之折线图绘制

（一）复习1. 导入作图的相关包 2.创建变量，进行绘图图例和颜色在上一贴都有介绍，这里就不做赘述。3.打印统计图以上是对前一章节内容一个简单的复习。（二）新知1. 创建基本统计图 2.输出统计图 3．对图布分组3.1第一种结果输出如下图： 3.2第二种结果输出如下图： 4.在图中加备注和箭头结

133.3072

1

3

0

关注作者

收藏

wangjuju123

python绘图中设置线条、颜色

设置不同线条：设置不同颜色：

0.0000

0

3

0

关注作者

收藏

wangjuju123

绘图包这么多该怎么选？

下面列举了部分在Python中可进行数据可视化操作的包。 Matplotlib Matplotlib算是Python中绘图最基本的包了，用起来也比较接地气，用Matplotlib做的最多的是2D的图像，并且使用Matplotlib做简单的数据可视化是非常容易便捷的 Pandas Pandas是基于Matplotlib实现绘图的，因为Pandas对Matp

0.0000

0

4

0

关注作者

收藏

wangjuju123

数据可视化的重要性？

不难发现，在每一份数据分析报告中，总有一部分内容是不可或缺的——图表，为什么我们在做数据分析时会觉得图表是极其重要的一部分内容，或者说为什么要做数据可视化呢？举个简单的例子，下面是一个餐厅就餐信息的统计（前五行）如果只看数据的话，我们能知道，顾客的每一单总金额是多少、给小费情况如何、性别、是否吸烟等，这就是从数据中可以直观获得的信息。但是，如果想获得更多的信息，貌似是比较困难的。那我们接

0.0000

0

7

0

关注作者

收藏

阿抽哥哥

Pandas中时间序列数据有哪些？

日期与时间数据主要包括三类：时间戳表示某个具体的时间点（例如2015年7月4日上午7点）时间间隔与周期表示开始时间与结束时间点之间的时间长度，例如2015年（指的是2015年1月1日至2015年12月31日这段时间间隔）。周期通常是指一种特殊形式的时间间隔，每个间隔长度相同，彼此不会重叠（例如，以24小时为周期构成每一天）。时间增量（time delta）或持续时间（duration）表示精

0.0000

0

0

0

关注作者

收藏

啊啊啊啊啊吖

使用rmarkdown

数据报告是作为数据分析师必不可少的工作之一，而目前大部分数据分析师所处环境可能是excel画图制表，然后制作成word或者email的方式。对于周期性的报告，每次重复操作其实蛮痛苦的。首先建立一个knitr文档，你可以File-New File-R Markdown ，也可以直接点File下面的然后创建。a接下来会提示你生成哪一种，我们这里直接选择Document好了，如果你想做PPT可以使

0.0000

0

3

0

关注作者

收藏

<1…307308309…341>

CDA考试动态

CDA报考指南