大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

啊啊啊啊啊吖

R里的lattice 包

lattice包提供了用于可视化单变量和多变量数据的一整套图形系统。许多用户转向使用lattice包是因为它能很容易地生成网格图形。网格图形能够展示变量的分布或变量之间的关系，每幅图代表一个或多个变量的各个水平。思考下面的问题：纽约合唱团各声部的歌手身高是如何变化的？lattice包在singer数据集中提供了身高和声部的数据。在下面的代码中：library(lattice)hist

17.6465

1

1

0

关注作者

收藏

啊啊啊啊啊吖

正则表达式整理2

(?!pattern)正向否定预查(negative assert)，在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如"Windows(?!95|98|NT|2000)"能匹配"Windows3.1"中的"Windows"，但不能匹配"Windows2000"中的"Windows"。预查不消耗字符，也就是说，在一个匹配发

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

正则表达式整理

\将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，'n' 匹配字符 "n"。'\n' 匹配一个换行符。序列 '\' 匹配 "\" 而 "(" 则匹配 "("。^匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属性，^ 也匹配 '\n' 或'\r' 之后的位置。$ 匹配输入字符串的结束位置。如果设置了RegExp 对象的

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

Hadoop的单机模式运行

Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。此处运行部分Hadoop自带MapReduce例子来验证Hadoop能够正常运行，同时对Hadoop中MapReduce运行命令格式进行简单说明在命令行中输入rm -r ./output在命令行中输入出现下述结果则说明运行成功注：若要重复运行程序，需更改输出文件夹

99.4764

1

1

0

关注作者

收藏

啊啊啊啊啊吖

Apache Hadoop下载

在Apache Hadoop官网可下载Hadoop生态部分核心组件，同时也可查阅Hadoop各版本说明及操作指南以及各版本Hadoop源码，在下载时注意选择镜像站点，推荐在清华站点或者阿里云站点进行下载，在后续的其他核心组件下载安装时也是如此。在前述的操作中，我们已经完成了Hadoop的安装，此时我们进入到Hadoop文件中简单查看其内部文件结构基本结构如下bin(binary)二进制执

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

Linux系统介绍

Linux是类Unix操作系统，我们现在所谓的Linux操作系统，从严格意义上来说是指拥有Linux内核的操作系统，其中，Ubuntu和CentOS操作系统分别是桌面端和服务器端占比最高的开源操作系统，而这两个操作系统也将是本次讲学过程中主要涉及的两个操作系统。Ubuntu相比其他Linux系统，Ubuntu操作系统拥有人性化的桌面操作界面，除商业用途外，也非常适合PC用户处理日常事务

0.0000

0

6

0

关注作者

收藏

PGC123

hadoop集群是在什么地方制定的hdfs地址

hadoop集群是在什么地方制定的hdfs服务地址？答：hadoop集群的hdfs服务地址也是namenode的地址，这个是hadoop的核心功能。这各参数是在core-site.xml中配置的 fs.defaultFS hdfs://localhost:9000

99.4764

1

1

0

关注作者

收藏

啊啊啊啊啊吖

基础环境准备

在进行分布式架构的学习前，首先需进行基础环境准备。众所周知，在单机运算能力无法满足处理海量数据的运算能力时，人们普遍开始考虑使用分布式运算来代替单机运算，从而实现调动多台物理机的计算资源为一个计算目标服务这一目标，进而解决单机运算能力瓶颈问题。当然，这也成为了大数据分析和小数据分析最显著的区别之一——即使用的工具不同。而当前大数据行业标准是使用Hadoop及其生态组件来执行分布式处理，这也是

0.0000

0

1

0

关注作者

收藏

PGC123

Hive初始化失败

HIVE初始化错误，报错信息如下图所示：答：从初始化命令来看，hive的元数据库应该是MySQL，但是从输出的日志信息来看却是用的derby数据库，应该是hive-site.xml文件配置错误所致。

0.0000

0

2

0

关注作者

收藏

PGC123

hive连接MySQL时有ssl警告

在hive连接MySQL时有ssl警告，警告内容如下：WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45 , 5.6.26 and 5.7.6 requirements SSL connection must

0.0000

0

3

0

关注作者

收藏

PGC123

CentOS下 ssh 免密登录配置失败问题

ssh 免密登录是配置大数据分布式集群的基本操作，其过程简单来说就是将master 节点的公钥分发到各个节点的授信文件authorized_keys中。在ubuntu中完成上面的配置基本上就可以实现免密登录了，但是在CentOS中却还不行，ssh 登录远程节点还要输入密码，这是为啥呢？原因是CentOS需要更多的权限，具体来说就是 .ssh目录需要有700的权限 authorized_k

0.0000

0

5

0

关注作者

收藏

詹惠儿

如何用Logistic回归识别手写数字？（2）

现在，我们将定义我们的超参数# Hyper Parameters input_size = 784num_classes = 10num_epochs = 5batch_size = 100learning_rate = 0.001在我们的数据集中，图像大小为28 * 28。因此，我们的输入大小是784.此外，这里有10位数字，因此，我们可以有10个不同的输出。因此，我们将num_c

0.0000

0

1

0

关注作者

收藏

詹惠儿

属性的定义

属性：属性是定义实体类型的属性。例如，Roll_No，Name，DOB，Age，Address，Mobile_No是定义实体类型Student的属性。在ER图中，属性由椭圆表示。a主要属性-它的属性唯一标识每个实体的实体集合称为attribute.For例如键，Roll_No将成为每个学生的独特。在ER图中，键属性由具有底层线的椭圆表示。a复合属性 - 由许多其他属性组成的属性

0.0000

0

2

0

关注作者

收藏

詹惠儿

简单理解数据科学家，数据工程师，数据分析师之间的区别

通常，我们会听到有关CS工程师的不同名称，如数据科学家，数据分析师和数据工程师。让我们讨论上述三个角色之间的差异。数据分析师 - 这个人工作的主要重点是优化情景，说明员工如何改善公司的产品增长。数据清理和组织原始数据，分析和可视化数据以解释分析并呈现数据的技术分析。Data Analyst所需的技能包括R，Python，SQL，SAS，SAS Miner。数据科学家 - 主要关注的是数据的

0.0000

0

1

0

关注作者

收藏

yuexia2599

python报错invalid character in

python报错invalid character in identifier，意思就是“标识符中的无效字符”，检查下有没有字符是中文的，把中文字符改成英文字符再运行就OK啦~PS：实践中：1.)把输入法调成英文模式2.) 输入算法需要的所有标点符号3.)补充完整算法内容目前欠缺：1.)特殊符号输入键，例如{},*:，2.）仍需要多多练习

204.5791

3

4

0

关注作者

收藏

PGC123

hadoop 配置的优先级

hadoop的配置参数调用是有优先级的，有时候我们配置了文件但是却不生效这是因为其他地方的配置已经覆盖了当前配置。hadoop的配置参数调用优先级顺序：在JobConf中指定的客户端机器上的__-site.xml配置slave节点上的__-site.xml配置__-default.xml中的配置如果某个属性不想被覆盖，可以将其设置成final

0.0000

0

1

0

关注作者

收藏

PGC123

hadoop 常见配置文件

配置文件有两种类型：一种是__-default.xml（只读，默认的配置）一种是#x662F;__-site.xml（替换default中的配置）常用的文件有：core-site.xml 配置公共属性hdfs-site.xml 配置HDFSyarn-site.xml 配置YARNmapred-site.xml 配置MapReduce

0.0000

0

7

0

关注作者

收藏

詹惠儿

文本挖掘中使用的特征工程技术是什么？

你知道你正在阅读的这一行的每个单词都可以转换成一个函数吗？是的，你听错了。文本数据提供了广泛的可能性来生成新函数。但有时候，我们最终会产生很多功能，在某种程度上处理它们会变成一项痛苦的任务。因此，我们应该仔细分析提取的特征。别担心！下面解释的方法也有助于减少结果数据集的维度。以下是使用的常用功能工程方法列表： 1. n-gram ：在文档语料库中，1

0.0000

0

4

0

关注作者

收藏

詹惠儿

基本正则表达式函数

R在解析文本数据方面同样强大，在正则表达式中，有多种方法可以完成某项任务。但是，在学习的过程中，坚持特定方法以避免混淆是至关重要的。因此，下面整理了一些专门用于处理正则表达式（又名正则表达式）的基本函数。对于使用正则表达式，可用的基本正则表达式函数是grep（），grepl（），regexpr（），gregexpr（），regexec（）和regmatches（）。以下

0.0000

0

2

0

关注作者

收藏

詹惠儿

修改字符串的R函数有哪些？

下表整理归纳了一些常用的基本R函数（在stringr中也可用）来修改字符串：

0.0000

0

2

0

关注作者

收藏

<1…676869…75>

CDA考试动态

CDA报考指南