大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

运行spark流计算程序报错

代码如下报错信息如下：这是什么原因？答：结合代码与报错信息，发现是由于创建streamingDF时load()方法传入的参数有误导致的。这个位置需要传输一个文件目录，而不是某个文件，spark会自动的从该文件夹中读取各个文件信息。

0.0000

0

1

0

关注作者

收藏

PGC123

RDD的特性有哪些？

RDD的特性答：RDD有如下特性RDD是各个分区的集合，包括多个分区PartionRDD的分区使用多种算子操作进行计算RDD之间存在依赖关系根据是否经过shuffle流程拆分为宽依赖和窄依赖形式的RDD需要重新分区，

37.5000

1

1

0

关注作者

收藏

PGC123

spark计算阶段是如何划分的？

Spark 计算阶段划分是怎么样的？答：spark的阶段划分如下所示由job stage task 三个层级的每个stage是一个jvm 进程，task 是进程中的一个线程。

0.0000

0

3

0

关注作者

收藏

PGC123

hive 创建表代码报错

使用hive创建表create table youtube1(videoId string,uploader string,age int,category array,length int,views int,rate float,ratings int,comments int,relatedId array) row format delimited fields t

0.0000

0

1

0

关注作者

收藏

PGC123

如何启动hive 的远程访问服务？

如何启动hive 的远程访问服务？答：启动hiveserver2的方式：hive --service hiveserver2后台方式启动 nohup hive --server hiveserver2

0.0000

0

5

0

关注作者

收藏

PGC123

python的优缺点

python的优缺点答：优点:简单，易学免费开源面向对象丰富的库有很多优秀的第三方库可以使用如：Django flask scrapy pandas numpy 等可扩展性可以封装 c 或c 编写的代码，来提高程序运行效率或者对代码保密。缺点：运行速度慢可扩展性来解决不易于

31.0316

1

1

0

关注作者

收藏

PGC123

python的特点有哪些？

python的特点有哪些？答：1、一门简单、直观的语言2、开源，维护的人多，资源丰富3、代码像纯英文那样容易理解4、适用于短期开发的日常任务

0.0000

0

2

0

关注作者

收藏

PGC123

编译型语言与解释型语言的对比

编译型语言与解释型语言的对比答：主要从这两个方面对比运行速度：由于解析型语言需要在执行的时候被解释器一条一条翻译成机器码，然后再执行，因此效率肯定是不如编译型语言这种在执行前就已经编译好的效率高了。跨平台能力：跨平台能力指的是同样的代码在不修改或很小的修改即可拿到其他平台上正常执行的能力。解释型的语言好的一点是跨平台性好，只要在不同的操作系统上安装不同版本的解释器，然后相同

31.0316

1

1

0

关注作者

收藏

PGC123

B/S C/S是啥？

常见的软件系统的架构是C/S或者B/S架构符号英文解释C：client客户端B：browser浏览器S：server服务器服务器：一直在那里不离不弃客户端：对服务器有需求的时候会连接服务器，没有需求的时候可以掉线。客户端是一种定制化的专用软件浏览器：与服务器之间的关系大致类似客户端程序，不同的是浏览器是一种通用的软件，可以与各种web服务程序交互。

31.0316

1

3

0

关注作者

收藏

PGC123

计算机程序是什么，如何运行的？

计算机程序是什么，如何运行的？答：计算机程序就是一堆可以指挥计算机工作的指令集合，是计算机能看懂的由一系列01构成的文件。早期的计算机就是接受这些指令来完成任务，但是人阅读机器语言太痛苦了，只能开发一些非常简单的计算。高级语言与机器语言高级语言有c/c 、java、python等等。高级语言是人可以读懂的语言，方便开发调试程序。但是计算机看不懂啊，所以这之间就需要有个转换，编译器

37.5000

1

3

0

关注作者

收藏

PGC123

操作系统是干啥的，用在什么地方？

操作系统是干啥的，用在什么地方？答：操作系统是用来管理计算机硬件资源的，这样常见的操作系统主要有三大类：Windows、Linux、Mac osWindows 是微软公司的产品，主打桌面操作系统，常见的有windows7、windows10linux 操作系统有很多个发行版本，基本上都开源。常见的有Centos、ubuntu等。Linux主要应用场景是作为企业服务器的操作系统，

0.0000

0

1

0

关注作者

收藏

PGC123

计算机的构成及其用途

计算机是由一对硬件、操作系统、以及应用程序构成的。常见硬件有看的到的：显示器、键盘、鼠标用途：大家应该都知道^_^ 看不见的： CPU、内存条、硬盘用途： CPU 用来执行程序指令的模块，是电脑的最重要的组成部分内存：是

0.0000

0

2

0

关注作者

收藏

PGC123

如何使用字符串函数识别给定字符串中的括号？

如何使用字符串函数识别给定字符串中的括号？答：sysbol = {')':'('}sysbol_l,sysbol_r = sysbol.values(),sysbol.keys()def check(s): arr = [] for c in s: if c in sysbol_l: arr.append(c) elif c in sysbol_

0.0000

0

5

0

关注作者

收藏

PGC123

sparkSQL的HiveContext访问hive权限问题

sparkSQL的HiveContext访问hive权限问题：The root scratch dir: /tmp/hive on HDFS should be writable Current permissions are : rwx------spark 用的是Windows local 模式答：这是由于用户对'\tmp\hive'文件夹访问权限受限所致。查看权限可以使用%H

600.0000

1

1

0

关注作者

收藏

PGC123

Hadoop计算任务阶段是如何划分的？

Hadoop计算任务阶段是如何划分的？答：Hadoop计算任务阶段划分如下图所示：一个计算任务application 可以有多个job。每个job 可以有多个task任务。

150.0000

1

1

0

关注作者

收藏

PGC123

spark 计算任务阶段划分是怎样的？

spark 计算任务阶段划分是怎样的？答：spark计算任务阶段划分如下图所示：

0.0000

0

0

0

关注作者

收藏

PGC123

python 匿名函数如何接受多个参数？

python 匿名函数如何接受多个参数？答：python匿名函数默认接收一个参数，如果想传递多个参数的话可以使用使用*号打包多个参数。fa = lambda *args:print(args)fa(1,2,3,4,[2,3,4,5,6])

85.7143

1

1

0

关注作者

收藏

PGC123

scala 安装后提示找不到或无法加载主类

在windows下安装scala出现错误：找不到或无法加载主类 scala.tools.nsc.MainGenericRunner 这是什么原因呢？答：原因是scala的安装路径中不允许出现空格（C盘的Program Files和Program Files(x86)路径除外）。解决方法是安装到系统默认路径或者新的路径中不出现空格。

85.7143

1

5

0

关注作者

收藏

PGC123

Hbase的负载查询操作默认是通过那个分布式计算框架完成的？

Hbase的负载查询操作默认是通过那个分布式计算框架完成的？答：hbase负载查询默认使用的是Hadoop的mapreduce计算框架来实现的。

150.0000

1

2

0

关注作者

收藏

PGC123

hive 存储元数据可以使用哪个非关系型数据库？

hive 存储元数据可以使用哪些数据库答：hive默认使用自带的数据库derby来存储元数据。也可以使用MySQL等关系型数据库来存储。

85.7143

1

3

0

关注作者

收藏

<1…383940…75>

CDA考试动态

CDA报考指南