大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

spark 四大特性是什么？

spark 四大特性是什么？答：a.快速性b.简单易用性 c.通用性d.处处运行

0.0000

0

1

0

关注作者

收藏

PGC123

hive --service metastore 干啥的？

hive --service metastore 命令是干啥的？答：理解这个命令之前需要知道hive元数据库的配置方式。hive metastore有两类配置方法：本地模式与远程模式。本地模式：可以使用自带derby，也可以使用MySQL等关系型数据库。他们都与hive部署在同一个节点上使用derby与MySQL作为元数据库的区别是： der

6.0509

1

3

0

关注作者

收藏

PGC123

如何开启ubuntu16的图形界面

如何开启ubuntu16的图形界面？关闭之后怎么开启呢？答：可以使用下面命令来设置（在ubuntu16以及ubuntu18中测试过）1. 关闭用户图形界面sudo systemctl set-default multi-user.targetsudo reboot2. 开启用户图形界面sudo systemctl set-default graphical.targetsudo

0.0000

0

7

0

关注作者

收藏

PGC123

Linux下如何判断MySQL是否已经启动？

Linux下如何判断MySQL是否已经启动？答：这里说的MySQL应该是MySQL server,如何查看MySQL服务是否启动有多种方法。方法一：使用MySQL客户端连接MySQL服务器，如果可以连接成功则直接证明MySQL服务已经启动了方法二：使用命令 # service mysqld status 或者 # service mysql status 命令来查看mysql 的启动状态

0.0000

0

5

0

关注作者

收藏

PGC123

如何更改ubuntu的apt-get 软件源服务器？

如何更改ubuntu的apt-get 软件源服务器？我说的是在命令行中哦答：ubuntu的软件镜像源国常用的阿里云、清华、中科大等。这里介绍一下清华镜像的配置。Ubuntu 的软件源配置文件是 /etc/apt/sources.list。将系统自带的该文件做个备份,将该文件替换为下面内容,即可使用 TUNA 的软件源镜像。$ sudo cp /etc/apt/sources.list

0.0000

0

1

0

关注作者

收藏

PGC123

如何查看Linux的网关

如何查看Linux的网关？想要配置Linux的网络为固定IP，不知道该怎么看网关答：查看网关可以使用route命令使用route命令中会显示一条default的里边标有GATEWAY的那个就是你的网关！也可以使用ip route 命令来查看

0.0000

0

1

0

关注作者

收藏

PGC123

mapreduce 适合做哪些工作？

mapreduce 适合做哪些工作？目前来说mapreduce的应用场景有哪些？是不是一点用也没了？答：用mapreduce计算框架开发代码难度较高，因此适用于业务变化不是特别大的场景，一套代码可以使用很久。还有一点，mapreduce相较于目前基于内存的计算框架如spark、flink来说他的运算速度比较慢，因此那些对实时性要求不高的场景也可以用。因为对内存要求不高，硬件成本相对来说会低

150.5339

2

3

0

关注作者

收藏

PGC123

Spark中RDD的transformation操作是啥策略

Spark中RDD的transformation操作采用了（）策略？答;spark RDD有两种操作： transformation 与action。其中transformation并不直接计算而是采取延迟策略，只记录rdd的转换依赖，当有action操作时才真正计算处理数据。

2.9470

1

0

0

关注作者

收藏

PGC123

spark是基于什么技术的大数据框架

有道题是这样：spark是基于什么技术的大数据框架？答：spark与hadoop2中的mapreduce计算框架的一个不同之处是spark基于内存来存运算过程的中间结果，这是spark框架运算速度快于mapreduce2的一个原因。

0.0000

0

3

0

关注作者

收藏

PGC123

如何构建图模型

以HDFS上master:9000/ graphdata.txt中的数据创建图，其中sc为SparkContext的实例，graphdata.txt文本格式：121256 132156 GraphX中能够实现上述功能的核心代码为答：val graphhdfs = GraphLoader.edgeListFile(sc,"hdfs://master:9000/graphdata.txt")

0.0000

0

2

0

关注作者

收藏

yzyz345

“ugarchroll”进行滚动预测，数据报错

求助各位大佬：我的数据是上证综指的对数收益率，从1991-1-2到2018-12-18号，我想用“ugarchroll”实现滚动预测，我的模型是ARMA(1,1)-GARCH(1,1)，想分别用第1-500天的收益率数据，预测第501天的参数，并计算出各分位数下的VaR，然后再用2-501天的收益率数据，去预测第502天的参数，并就算各分位数下的VaR，直到预测到2018年12月28日的

371.8940

3

3

0

关注作者

收藏

PGC123

一种sftp 实现文件本地到服务器的上传下载功能

我们连接远程服务器的时候需要做文件传输本地文件上传到服务器或者从服务器下载文件到本地，有什么好用的工具吗？答：我们常用的shell模拟器有xshell ,这款软件可以让我们连接远程主机并操作他，传输文件的功能则相对弱一些。其实我们可以通过lrzsz来强化他的功能。首先需要在虚拟机上安装lrzszsudo apt-get install lrzsz安装完成之后我们就可以用他上传下载文件

167.6514

1

4

0

关注作者

收藏

PGC123

ubuntu16.04 安装语言包、中文输入法

Ubuntu16.04安装完后，并没有中文输入功能。于是搜索网上资料发现都不是那么完整，因此整理汇总如下教程。 ibus输入法Chinese语言包安装首先需要给Ubuntu16.04安装Chinese语言包支持如上图点击其中的Install/Remove Languages…，这个对话框是通过system settings–>Language Support选择弹出来的。然

2.9470

1

1

0

关注作者

收藏

PGC123

Python中函数与方法的区别

有时候调用函数，有时候调用方法，函数与方法的区别是什么？答：方法与函数的区别主要是看谁调用的。通过对象来调用的就是方法，通过类来调用的则是函数。如下图所示：我们常用的print的就是函数。

0.0000

0

3

0

关注作者

收藏

PGC123

Scala为啥没有或者 --运算符呢？

Scala为啥没有或者 --运算符呢？答：与Java或者C 相比，Scala有个显著特征，并没有提供和--操作费，我们需要使用 =1或者 -=1。 Scala里面不区分基本类型与引用类型，所有变量都是引用。因此Int 类型是不可变的，实现操作符的难度非常，然而用处却不是很大，完全可以用 =1或者 -=1代替，因此Scala中没有实现与 --操作符。

0.0000

0

4

0

关注作者

收藏

PGC123

Scala解释器是什么原理？

Scala解释器是什么原理？Scala是一种编译型的语言为啥会有类似python的交互式环境呢？答：python是动态语言，并不需要编译直接通过python解释器一行一行的解释执行。Scala的交互式开发环境看上去与python的很像，但实际上两者原理是不同的。 Scala的解释器本质上并不是解释器，应该叫REPL即读取-求值-打印-循环。我们输入的代码被迅速的编译成字节码然后这段字节码由J

17.6465

1

0

0

关注作者

收藏

PGC123

Scala的类里面如何编写setter与getter方法？

Scala的类里面如何编写setter与getter方法？答：在Scala里面会默认生成一组getter与setter分别是age() 与 age_=() 我们可以定义一个Person类class Person{ var age = 0}调用val xiaoming = new Personprintln(xiaoming.age)xiaoming.age_=(20)pr

0.0000

0

2

0

关注作者

收藏

PGC123

为啥类里面会设置getter 与 setter方法？

为啥类里面会设置getter 与 setter方法？如果将属性设置为public不是更好吗？答：如果一个getter/setter 方法没有定义其它限制条件的时候，功能跟设置public属性相同。但是如果想加一些限制规则的时候，getter/setter方法更灵活。比如一个person类中的age属性，一旦设置好之后每次变更只能变大而不能变小，这符合实际规律。这时必须配置setterp

0.0000

0

2

0

关注作者

收藏

PGC123

Scala代码调用函数可以不用括号？

Scala代码中函数可以跟属性一样调用不加括号？我发现不加括号也可以正常使用，为啥？答：对于一个不含参数的方法，我们调用的时候括号是可以有也可以没有的，但是有参方法不能这样调用。还有如果代码中定义方法的时候没有加括号，则使用的时候必须不能加括号，否则编译不能通过

17.6465

1

1

0

关注作者

收藏

PGC123

Scala 调用包的时候报警告

在编写代码的时候idea 报警告Warning:(2, 24) imported `Counter' is permanently hidden by definition of class Counter in package CLASS__import com.cda.CLASS__.Counter 答：根据警告信息可以发现，你代码中调用的类与你当前文件属于同一个命名空间下，因此不

0.0000

0

4

0

关注作者

收藏

<1…666768…75>

CDA考试动态

CDA报考指南