Wormhole 是宜信技术研发中心开发的一个一站式流式处理云平台解决方案。Wormhole 面向大数据流式处理项目的开发管理运维人员,致力于提供统一抽象的概念体系,直观可视化的操作界面,简单流畅的配置管理流程,基于 SQL 即可完成的业务逻辑开发方式,并且屏蔽了流式处理的底层技术细节,极大的降低了数据项目管理运维门槛,使得大数据流式处理项目的开发管理运维变得更加轻量敏捷可控可靠。

在使用wormhole官方的 quick start进程流程测试的时候,因为自己学艺不精,再加上官网描述太过于简单,所以出现了诸多问题,这篇文章主要对官方文档进行补充说明。如果在测试wormhole过程中遇到了其他问题,还可以参照我的另一篇文章:Wormhole流程搭建测试踩坑总结(一)

如需查看wormhole官方文档,请点击这里

下面进行补充:

一、Kafka connection URL配置

上图位置一定要配置你Kafka的IP以及生产者端口,默认9092,我们在搭建集群的时候将生产者端口改掉了,但是这里按照教程使用的9092,导致了后面一系列错误,现在跳出来了看有点蠢,但是当时作为当局者的时候实在迷的不轻。同样后面需要配置的MySQL也是如此。

二、已经创建了UDF但是在创建project的时候不显示

如果创建的udf是public权限,表示对所有project都有效,不需要手动为某个project指定

三、flow显示suspending/stream显示running,但是sink端没有数据

在配置文件中有配置Kafka的URL

  brokers.url = "192.168.10.214:6667,192.168.10.215:6667,192.168.10.216:6667" 

这里默认指定的端口是6667.有点奇怪,前面并没有指定6667端口,这里也没有任何说明,我在配置的时候以为这里是默认端口不需要修改,stream虽然显示running,但是flow一直处于suspending状态无法启动。查看yarn日志报错。

原因就是上面的端口配置错了,改成当前Kafka集群生产者端口就好了。

不知道是我太过小白还是,文档确实有问题,按我的理解,这个端口之前没有出现过,这里也没有说明,我第一反应就是他是默认的不需要修改,结果,,

主要的问题就是这些了,搭建过程中感觉都要崩溃了,现在想想出问题的最主要的还是端口问题,所以大家一定要注意集群中的端口和这里使用wormhole时候配置一定要统一!其他就是版本兼容性的问题了,按照官网进行搭建部署应该没有问题。

Wormhole流程搭建测试踩坑总结(二)相关推荐

  1. Spotmicroai机械狗初上手——组装测试踩坑(二)

    Spotmicroai机械狗初上手--组装测试踩坑 说明 spotmicroai/utilities文件夹 log.py config.py queues.py run.sh spotmicroai/ ...

  2. ODrive踩坑(二)3508电机和TLE5012B磁编码器参数配置、校准、位置闭环模式转动电机(TLE5012B-E1000)

    ODrive对无刷电机进行闭环控制,需要提前获取电机和编码器的参数. 电机极对数 电机需要配置的参数为 极对数.最大电流.校准电流.电机类型.其他参数如相电阻.电感等可由驱动器自动测量. 极对数 = ...

  3. 小米平板2无线网卡服务器,二手平板踩坑 篇二:400多收下小米平板2——屏幕通病有点要命...

    二手平板踩坑 篇二:400多收下小米平板2--屏幕通病有点要命 2020-04-11 21:34:22 2点赞 6收藏 7评论 又是一次踩坑,这个平板我总体感觉还是不错的,屏幕有点难受 价格就不说了, ...

  4. Wormhole流程搭建踩坑总结(一)

    刚进公司,让我搭建一个wormhole环境,我想搭建个环境还不简单,按照官网教程,三下五除二搭建好了,领导又让按照教程跑一遍wormhole流程.本来觉得应该也是手到擒来的事,可是期间的心酸苦楚,欲哭 ...

  5. 【blog】小白博客搭建和踩坑历程 hexo+butterfly

    我的博客 初始化 踩坑流程(hexo搭建+git+butterfly) 搭建流程 Hexo-零基础搭建个人博客(详解)_〆清峰ㄟ的博客-CSDN博客_hexo 换主题的bug Hexo启动页面显示ex ...

  6. php kafka storm,php的kafka踩坑(二)

    接上一篇文章,上次没有解决的一个问题就是在做一个队列的时候,存在多消费者消费到同一个消息的情况,今天终于解决了这个问题,问题的本质是因为运维给我创建的topic是有问题的,他创建的分区数量是0,我今天 ...

  7. Virtual Box报错VT-x is not available (VERR_VMX_NO_VMX)--大踩坑(二)

    说明 ubuntu 20 下玩Cuckoo Sandbox继续踩坑,上文 Link 天坑: Vitual Box处理器虚拟化 在cuckoo和virtual box安装完成后,在virtual box ...

  8. 通过Waterdrop 进行hdfs导入ck测试踩坑

    首先看下hive建表,这里的字段类型,直接关系导ck的配置: CREATE EXTERNAL TABLE ol_ck_int (user_id bigint comment '会员id',three_ ...

  9. 安装VM15搭建centos7踩坑记录。

    项目经理又又又又又又又叕来找我做压测了,好吧这次连开发的机器都没法用了,因为开发也在用.上午问了一圈公司也没有16G内存的闲置电脑,所以明天只能把自己笔记本带来做服务器测试了.没法子,启动服务必须要1 ...

最新文章

  1. Guava RateLimiter限流源码解析和实例应用
  2. jpa怎么传参到in中_Spring Boot中的测试
  3. jQuery validation插件的使用(转)
  4. IE7一样可以轻易重装
  5. 编写代码约定,每行字符长度不超过80列
  6. [java设计模式简记] 观察者模式(Observer-Pattern)
  7. linux SO文件
  8. K3s(Kubernetes)环境使用Let‘s Encrypt证书的部署及自动配置https域名-阿里云域名解析管理
  9. Codeforces Round #390 (Div. 2) A. Lesha and array splitting
  10. 2018大学计算机答案,2018年大学计算机基础试题及答案
  11. 《圈子圈套3》读后感
  12. dm9000网卡 S3C2440
  13. 贝壳网webpack案例
  14. video视频快进拖动限制
  15. iOS开发中集成阿里云视频上传SDK总结
  16. 丰富的无线局域网技术
  17. Rook+ceph+wordpress部署
  18. VVC 代码阅读 compressCtu()函数
  19. org.springframework.jdbc.CannotGetJdbcConnectionException: Failed to obtain JDBC Connection; nested
  20. 《概率论与数理统计》期末考试卷

热门文章

  1. Loadrunner12.55windows-linux-os安装详细教程
  2. 德鲁克《卓有成效的管理者》学习读书-总结
  3. 一套好用的MES系统,到底要具备哪些特质?
  4. Matter理论介绍-通用-1-04:桥接器-其他功能
  5. android手机黑科技软件,4款安卓手机黑科技APP,功能非常牛逼,希望大家谨慎使用...
  6. MFC中单文档程序框架
  7. Numpy中outer的应用
  8. MyHDL中文手册(十)——转换成Verilog和VHDL
  9. 计算机科学技术考研录取人数,2021清华计算机科学与技术考研招生人数、考试科目、复试科目、分数线录取名单...
  10. Photoshop鼠绘精美手机详细教程