大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

Spark中driver的作用？

driver首先会向集群管理者（standalone、yarn，mesos）申请spark应用所需的资源，也就是executor，然后driver进程会将我们编写的spark应用代码拆分成多个stage，每个stage执行一部分代码片段，并为每个stage创建一批tasks，然后将这些tasks分配到各个executor中执行

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

Spark集群中的节点是指什么？

spark集群的节点是指集群中的每一台机器

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

Spark中的并行度是怎样计算的？

并行度 = Executor数目 * 每个Executor核数

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

Spark中的Executor是什么？

Executor由若干core组成，每个Executor的每个core一次只能执行一个Task，这里的core是虚拟的core而不是机器的物理CPU核，可以理解为就是Executor的一个工作线程而Executor可以理解为一个进程

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

Spark中的task是由谁去执行的？

每个task会被分配到集群上的一个节点的一个Executor去执行。

0.0000

0

6

0

关注作者

收藏

大魔王泛泛

Spark中的InputSplit和task的关系？

InputSplit与Task是一一对应的关系

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

Spark中的InputSplit和block的关系？

Spark读取文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

Spark中如何合理提高并行度？

task数量要设置成spark Application 总cpu core数量的2~3倍，比如150个cpu core ，基本设置 task数量为 300~ 500

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述一下Spark的并行度指的是什么？

并行度其实就是指的是spark作业中，各个stage的task的数量

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述一下什么是ZooKeeper？

ZooKeeper是一个典型的分布式数据一致性的解决方案。分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。ZooKeeper可以保证如下分布式一致性特性。顺序一致性从同一个客户端发起的事务请求，最终将会严格按照其发起顺序被应用到ZooKeeper中。原子性所有事务请求的结果在集群中所有机器

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

简述一下什么是事务？

事务：是由一系列对系统中数据进行访问与更新的操作所组成的一个程序--执行逻辑单元，简单的说，事务就是并发控制的单位，是用户定义的一个操作序列而一个逻辑工作单元要成为事务，就必须满足ACID属性A：原子性（Atomicity）事务中的操作要么都不做，要么就全做。C：一致性（Consistency）事务执行的结果必须是从数据库从一个一致性状态转换到另一个一致性状态。I：隔

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

Spark中什么是数据的本地性

在Spark中，数据本地性是指具体的task运行在哪台机器上，DAG划分stage的时候确定的。

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

Spark中partition和block

hdfs中的block是分布式存储的最小单元，位于存储空间，大小是固定的Spark中的partition是RDD的最小单元，位于计算空间，大小是不固定的RDD是由分布在各个节点上的partition组成的，partition是指的spark在计算过程中，生成的数据在计算空间内最小单元

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

简述hadoop和spark的shuffle

hadoop：map端保存分片数据，通过网络收集到reduce端spark：spark的shuffle是在DAGSchedular划分Stage的时候产生的，TaskSchedule要分发Stage到各个worker的executor，减少shuffle可以提高性能

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

Spark中数据的位置是被谁管理的？

数据的位置是被blockManager管理，每个数据分片都对应具体物理位置

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

Spark程序执行时为什么会产生很多task

每一个文件对应一个block，当小文件很多时，block也会很多，有多少个block就会有多少个task启动spark中有partition的概念，每个partition都会对应一个task，task越多，在处理大规模数据的时候，就会越有效率

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

Spark Streaming和Storm有何区别？

Spark Streaming是实时毫秒级别Storm是准实时亚秒级别，不过storm的吞吐率比较低

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

executor启动时，资源参数怎么指定

num-executors是executor的数量executor-memory 是每个executor使用的内存executor-cores 是每个executor分配的CPU

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

谈谈你对container的理解？

Container作为资源分配和调度的基本单位，其中封装了的资源如内存，CPU，磁盘，网络带宽等。目前yarn仅仅封装内存和CPUContainer由ApplicationMaster向ResourceManager申请的，由ResouceManager中的资源调度器异步分配给ApplicationMasterContainer的运行是由ApplicationMaster向资源所在的Node

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

Spark中的4040端口的作用是?

收集Spark作业运行的信息

0.0000

0

3

0

关注作者

收藏

<1…252627…75>

CDA考试动态

CDA报考指南