大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

Cenos7如何设置时间同步？

Centos7是安装在虚拟机中的，每次启动之后发现时间跟实际的有偏差，如何对时间做同步呢？答：可以使用ntp 服务来实现时间同步的功能。首先安装ntp sudo yum install ntp将ntp 设置为开机自启动sudo ystemctl enable ntpd修改启动参数sudo vi /etc/sysconfig/ntpd启动NTP服务sudo service n

0.0000

0

1

0

关注作者

收藏

PGC123

spark 如何解决task过多的情况？

task过多，原因是分区的问题。我们应该从分区入手，是输入的小文件太多，还是本来就会有大数据量。在分区过多时，限定分区个数看看性能是否提高，也可以在filter等操作后对分区进行一定缩减。大量使用shuffle操作使task增加(这个应该不是本问题原因，但是我们应该考虑这也是让task增加的原因)，这样会完成多个stage串行会降低效率。当我们真的无法避免这么多task时候，我们应该用最佳的参

42.8571

1

2

0

关注作者

收藏

PGC123

spark 分区数是怎么设定？

spark 分区数是怎么设定？答：如果在spark-default.conf中没有显示设置的话。会按照不同模式给不同的默认分区数。(spark.default.parallelism)对于local[N]模式，因为开辟了N个线程，所以有N个core，也就默认分区为N。如果单用local那么只会开起一个分区。如果是伪分布模式，local-cluster[x,y,z] 那么默认分区是x＊y，x

0.0000

0

1

0

关注作者

收藏

PGC123

Stage卡住问题

spark运行正常，某一个Stage卡住，停止不前异常分析异常说明spark提交任务后，前N个Stage运行顺利，到达某一个Stage后，卡住，通过spark界面可以看到，executor运行正常，卡住的Stage的task已经分配至executor，但duration time一直增加，task却不结束，同时log中也无异常报出。解决方案：1、分析没有异常说明程序本身没有问题，框架运行也

0.0000

0

3

0

关注作者

收藏

PGC123

spark中的job与mapreduce中job的区别？

spark中的job与mapreduce中job的区别？答：熟悉Hadoop的人应该都知道，用户先编写好一个程序，我们称为Mapreduce程序，一个Mapreduce程序就是一个Job，而一个Job里面可以有一个或多个Task，Task又可以区分为Map Task和Reduce Task.而在Spark中，也有Job概念，但是这里的Job和Mapreduce中的Job不一样，它不

42.8571

1

0

0

关注作者

收藏

PGC123

spark 中的driver的作用是什么？

spark 中的driver的作用是什么？答：Spark中的driver感觉其实和yarn中Application Master的功能相类似。主要完成任务的调度以及和executor和cluster manager进行协调。有client和cluster联众模式。client模式：driver在任务提交的机器上运行，cluster模式：会随机选择机器中的一台机器启动driver。我们

0.0000

0

2

0

关注作者

收藏

PGC123

spark 中的Application是啥？

spark 中的Application代表哪块？答：application（应用）其实就是用spark-submit提交的程序。比方说spark examples中的计算pi的SparkPi。一个application通常包含三部分：从数据源（比方说HDFS）取数据形成RDD；通过RDD的transformation和action进行计算；将结果输出到

0.0000

0

2

0

关注作者

收藏

PGC123

spark中如何划分stage?

spark中如何划分stage?答： Spark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是RDD之间的宽窄依赖。遇到宽依赖就划分stage,每个stage包含一个或多个task任务。然后将这些task以taskSet的形式提交给TaskScheduler

0.0000

0

1

0

关注作者

收藏

PGC123

如何将python对象序列化？

如何将python对象序列化？答：可以使用python提供的pickle包来实现对象的序列化。首先，我们尝试把一个对象序列化并写入文件：In [1]: import pickleIn [2]: ls = [1,2,3,4,5,6,7]In [3]: pickle.dumps(ls)Out[3]: b'\x80\x03]q\x00(K\x01K\x02K\x03K\x04K\x

0.0000

0

4

0

关注作者

收藏

PGC123

什么是python的序列化？

什么是python的序列化？答：在程序运行的过程中，所有的变量都是在内存中，但是一旦程序结束，变量所占用的内存就被操作系统全部回收。下次运行程序代码还是最初的样子。我们把变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等等，都是一个意思。序列化之后，就可以把

0.0000

0

2

0

关注作者

收藏

PGC123

宽依赖窄依赖的关系

宽依赖窄依赖的关系答：相比于宽依赖，窄依赖对优化很有利，主要基于以下两点：宽依赖往往对应着Shuffle操作，需要在运行过程中将同一个父RDD的分区传入到不同的子RDD分区中，中间可能涉及多个节点之间的数据传输；而窄依赖的每个父RDD的分区只会传入到一个子RDD分区中，通常可以在一个节点内完成转换。当RDD分区丢失时（某个节点故障），Spark会对数据进行重算对于窄依赖，由于父RD

42.8571

1

1

0

关注作者

收藏

PGC123

什么是宽依赖？

什么是宽依赖？答：是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区（O(n),与数据规模有关）

0.0000

0

3

0

关注作者

收藏

PGC123

什么是窄依赖？

什么是窄依赖？答：在spark中指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区（O(1)，与数据规模无关）

6.8407

1

0

0

关注作者

收藏

PGC123

如何修改python列表的元素值？

如何修改python列表的元素值？答：修改列表的元素值可以通过索引的方式实现例如列表如下：ls = [1,2,3,4,5,6,7,8]想将其中的8改为9可以这样：ls[-1] = 9 # -1 代表选择最后一位

0.0000

1

6

0

关注作者

收藏

PGC123

python中partition()的用法？

python中partition()的用法？答：partition 是python字符串的内置方法，通过给定字符将字符串分成一个三元组。语法partition()方法语法： str.partition(str)参数str : 指定的分隔符。返回值返回一个3元的元组，第一个为分隔符左边的子串，第二个为分隔符本身，第三个为分隔符右边的子串。

0.0000

0

0

0

关注作者

收藏

PGC123

如何实现装饰器函数？

如何实现装饰器函数？答：现在的python版本都支持使用@函数名来调用装饰器函数#装饰器函数def logging(level): def wrapper(func): def inner_wrapper(*args, **kwargs): print "[{level}]: enter function {func}()".format

0.0000

0

6

0

关注作者

收藏

PGC123

python中的装饰器是什么？

python中的装饰器是什么？答：python中的装饰器装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能。装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。

34.4116

2

0

0

关注作者

收藏

PGC123

可迭代对象与迭代器的关系是什么？

刚开始我认为这两者是等同的，但后来发现并不是这样；下面直接抛出结论：1）可迭代对象包含迭代器。2）如果一个对象拥有__iter__方法，其是可迭代对象；如果一个对象拥有next方法，其是迭代器。3）定义可迭代对象，必须实现__iter__方法；定义迭代器，必须实现__iter__和next方法。

0.0000

0

2

0

关注作者

收藏

PGC123

迭代器与生成器之间关系？

区别：生成器能做到迭代器能做的所有事,而且因为自动创建了__iter__()和next()方法,生成器显得特别简洁,而且生成器也是高效的，使用生成器表达式取代列表解析可以同时节省内存。除了创建和保存程序状态的自动方法,当发生器终结时,还会自动抛出StopIteration异常

0.0000

0

1

0

关注作者

收藏

PGC123

迭代器是什么？

迭代器是一个更抽象的概念，任何对象，如果它的类有next方法和iter方法返回自己本身。对于string、list、dict、tuple等这类容器对象，使用for循环遍历是很方便的。在后台for语句对容器对象调用iter()函数，iter()是python的内置函数。iter()会返回一个定义了next()方法的迭代器对象，它在容器中逐个访问容器内元素，next()也是python的内置函数。在没

0.0000

0

1

0

关注作者

收藏

<1…565758…75>

CDA考试动态

CDA报考指南