Storm精华问答 | 遇到这些错误日志该如何解决？

分布式的实时计算系统，能够可信任的处理大量的流式数据，就好比Hadoop对于批量数据进行的处理一样；通常来说，Hadoop能够进行大批量数据的离线处理，但是在实时计算上的表现实在是不尽如人意；而Storm就可以担当这部分的作用。

Q：在打包toplogy工程的时候，如果采用assembly方式，相关依赖如何配置？

A：对于相关的依赖的配置一般要这样:

wiki上说可以用<scope>compile</scope>。然后将storm依赖设置为runtime,貌似不行。另外就是所有的依赖包将全部解压,然后将所有依赖的配置和class文件生成一个文件。这个是通过<unpack>true</unpack>参数来控制的。

Q：在提交topology的时候有时可能出现如下异常: 如何解决？

A：这个主要因为conf_dir路径设置不正确,在bin/storm脚本中需要加上这样一句: Python代码

Q：发布drpc 类型的topologies 到远程集群时，出现空指针异常，连接drpc服务器失败。

A：原因是未正确配置drpc 服务器地址。解决方法如下：

在conf/storm.yaml 文件中增加drpc 服务器配置，启动配置文件中指定的所有drpc 服务。内容如下：

Q：客户端调用drpc 服务时，worker 的日志中出现Failing message，而bolt都未收到数据

错误日志如下所示：

A：原因是主机名，域名，hosts 文件配置不正确会引起这类错误。解决方法如下：

检查并修改storm 相关机器的主机名，域名，hosts 文件。重启网络服务：service networkrestart。重启storm，再次调用drpc 服务，成功。Hosts 文件中必须包含如下

内容：

Q：Storm 启动时报no jzmq in java.library.path 错误

A：原因是找不到jzmq，默认情况下在执行install_zmq.sh 时，那些.so 文件安装路径在/usr/local/lib，但是实际安装时可能装在其他的路径下了。解决方法如下：

在storm.yaml 中添加：

小伙伴们冲鸭，后台留言区等着你！

关于Storm，今天你学到了什么？还有哪些不懂的？除此还对哪些话题感兴趣？快来留言区打卡啦！留言方式：打开第XX天，答：……

同时欢迎大家搜集更多问题，投稿给我们！风里雨里留言区里等你~

福利

1、扫描添加小编微信，备注“姓名+公司职位”，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！

2、公众号后台回复：白皮书，获取IDC最新数据白皮书整理资料！

推荐阅读：

微服务进阶避坑指南 | 技术头条
为什么给黑洞拍照需要这么长时间？
2019年技术盘点微服务篇（二）：青云直上云霄 | 程序员硬核评测
“入职 6 年，新人工资高我 2 千”：老板不加钱，不是嫌你老
从沉迷游戏到沉迷编程，16 岁赚 20 万美元！
救救中国 996 程序员！GitHub 近 230,000 Star、Python 之父伸张正义！
一个月修复20个漏洞获23675美元赏金, 原来是黑客队伍里出了无间道

真香，朕在看了！

Storm精华问答 | 遇到这些错误日志该如何解决？相关推荐

Storm精华问答 | 如何处理常见故障？
Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色,今天,就让我们看看关于Storm的精华问答吧. 1 Q:发布topology到远程 ...
Storm精华问答 | storm与Hadoop有什么区别？
戳蓝字"CSDN云计算"关注我们哦! 归于Apache社区,Storm被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍.而目前已是分 ...
Storm精华问答 | task与executor有什么关系？
戳蓝字"CSDN云计算"关注我们哦! 归于Apache社区,Storm被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍.而目前已是分 ...
Storm精华问答 | storm与Hadoop区别？
戳蓝字"CSDN云计算"关注我们哦! Apache Storm是一个分布式实时大数据处理系统.Storm设计用于在容错和水平可扩展方法中处理大量数据.它是一个流数据框架,具有最高的 ...
空空排错日志：OCS错误日志14501等解决办法
今天为一个客户排错,错误日志: OCS Protocol Stack 14501 当尝试建立 MTLS 对等计算机时,远程 IP 地址 192.168.85.247 提供了大量无效的证书.在过去的 5 ...
Storm精华问答 | Storm如何连接MySQL？
Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,大数据实时处理解决方案的应用日趋广泛,目前已 ...
Storm精华问答 | Storm的配置需要注意什么问题？
戳蓝字"CSDN云计算"关注我们哦! Apache Storm是一个分布式实时大数据处理系统.Storm设计用于在容错和水平可扩展方法中处理大量数据.它是一个流数据框架,具有最高的 ...
Storm精华问答 | 为什么这么多人用Spark而不用Storm？
戳蓝字"CSDN云计算"关注我们哦! Storm被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,以及大数据实时处理解决方案的应用日 ...
Storm精华问答 | 为什么要用Storm？不用Spark？
戳蓝字"CSDN云计算"关注我们哦! Apache Storm是一个分布式实时大数据处理系统.Storm设计用于在容错和水平可扩展方法中处理大量数据.它是一个流数据框架,具有最高的 ...

Storm精华问答 | 遇到这些错误日志该如何解决？

微服务进阶避坑指南 | 技术头条

为什么给黑洞拍照需要这么长时间？

2019年技术盘点微服务篇（二）：青云直上云霄 | 程序员硬核评测

“入职 6 年，新人工资高我 2 千”：老板不加钱，不是嫌你老

从沉迷游戏到沉迷编程，16 岁赚 20 万美元！

救救中国 996 程序员！GitHub 近 230,000 Star、Python 之父伸张正义！

一个月修复20个漏洞获23675美元赏金, 原来是黑客队伍里出了无间道

Storm精华问答 | 遇到这些错误日志该如何解决？相关推荐

最新文章

热门文章