热线电话：13121318867

登录
首页精彩阅读Storm常见问题及解决方案总结
Storm常见问题及解决方案总结
2016-03-19
收藏

Storm常见问题及解决方案总结

Storm 是一个开源的、大数据处理系统，与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统。数据被引入 Hadoop 文件系统 (HDFS) 并分发到各个节点进行处理。当处理完成时，结果数据返回到 HDFS 供始发者使用。Storm 支持创建拓扑结构来转换没有终点的数据流。不同于 Hadoop 作业，这些转换从不停止，它们会持续处理到达的数据。

storm常见问题总结 storm异常问题 storm错误 storm问题解决方案


1、storm集群配置JDK环境变量问题

问题分析：在linux系统下配置JDK后一般修改/etc/profile值进行环境变量配置，但是安装storm集群时会出现问题

问题解决：需要在/etc/.bashrc文件中也加入环境变量不然安装的JDK无法使用。


2、supervisor相关问题

1)安装后supervisor名称相同并且启动报错问题

问题分析：supervisor.cji中有行代码如下：

1

此代码是在启动supervisor时会找本机的hostname。

问题解决：修改每天机器的hostname与其相对应即可。


2)启动Supervisor 时，出现java.lang.UnsatisfiedLinkError异常

具体错误信息如下：

1
2
3
启动Supervisor 时，出现java.lang.UnsatisfiedLinkError:
/usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object
file: No such file or directory 异常。

问题分析：未找到zmq 动态链接库。

问题解决1：配置环境变量 export LD_LIBRARY_PATH=/usr/local/lib

问题解决2：编辑/etc/ld.so.conf 文件，增加一行：/usr/local/lib，再次执行即可

使用sudo ldconfig 命令，重启Supervisor


3、发布topologies时，序列化log4j.Logger异常

问题分析：日志系统无法正确正确处理序列化操作

问题解决：使用slf4j替换log4j日志jar包处理


4、提交topology时出现如下异常：

1
2
3
4
5
6
Exception in thread "main" java.lang.IllegalArgumentException: xxx host is not set 
        at backtype.storm.utils.NimbusClient.(NimbusClient.java:30) 
        at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17) 
        at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:78) 
        at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:71) 
        at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50)

问题分析：启动nimbus没有问题，异常原因是conf_dir路径设置错误

问题解决：修改bin/storm脚本，增加如下代码：

1
CONF_DIR = STORM_DIR + "/conf"


5、在使用storm0.7一下版本时，时间长会出现outofmenmory

问题分析：低于storm0.7版本的没触发一个tuple会创建一个hashmap存储该tuple所在的消息树结构，长时间会给gc造成巨大的压力导致出现outofmemory

问题解决：升级storm版本即可解决问题。


6、storm连接mysql数据库报异常

连接远程mysql数据库时报如下错误：

1
message from server:"Host FILTER" is not allowed to connect to this MySQL server

问题分析：可能是没有给其IP访问Mysql数据库权限导致

问题解决：登录mysql数据库，执行如下命令：

1
grant all on *.* to root@'%' identified by "123456";

此操作是给任意IP地址赋予访问权限（命令中*.*是通配任何IP，可指定IP 用户名：root 密码：123456）


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

sql数据库 mysql Hadoop HDFS 大数据 SQL

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇回归系列（一）| 怎样正确地理解线性回归
下一篇2020美国总统竞选大戏开锣，川普当选的奇迹会再发生吗？
数据分析师考试动态
CDA报考指南
数据分析学习
数据分析师资讯
更多

CDA教育闭环

常见问题

关于我们

CDA数据分析师公众号

  • CDA数据分析师公众号

CDA考试中心小程序

  • CDA考试中心服务号

CDA数据分析师App下载

  • CDA数据分析师App下载
Copyright © 2015-2021, www.cda.cn All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备11001960号-9 京公网安备 11010802034615号 经营许可证编号：京B2-20210330
联系电话：13321103290 (微信同号)

OK
客服在线
立即咨询
客服在线
立即咨询