本地运行Flink-DIMAPP出现问题

问题提炼:在本地运行Flink读取云服务器Kafka中的topic显示
Timeout of 60000ms expired before the position for partition topic_db-0 could be determined

日志级别

通过将设置lof4j中rootLogger=info,error,stdout
更详细的发现问题所在虽然在本地程序中显式的指定了kafka所在服务器的外网地址,
但是在通过zookeeper寻找leader的时候还是默认使用了本地设置的hadoop104,
而这个hadoop104是本地内网ip,自然是连接不上的 所以出现读不出数据的情况
---------------------------------
解决办法也很简单 将本地host文件中对应的集群名改成云服务器即可
(留个坑)日后寻找一个一劳永逸的办法

Kafka读取Topic

默认的读取"auto.offset.reset"="latest"
即同一个消费者组读取Topic时,从最新的开始读
如果想从最开始读 如果是新想消费者组仅更改"auto.offset.reset"="earliest" 即可
但若是旧消费者组 更改了这个设置也没有用 之前的数据还是读取不到

启发

导致A问题的可能有很多,在网上搜索的不一定适合自己而且还消耗时间
最好的方法就是调取日志从根源来找问题 再进行搜索解决

本地运行Flink-DIMAPP出现问题相关推荐

本地提交到yarn_Yarn运行Flink作业 0449
Yarn运行Flink作业 link支持多种部署模式:本地.集群(Standalone/YARN).云(GCE/EC2).Standalone部署模式与Spark类似,这里,我们看一下Flink on ...
开发函数计算的正确姿势 —— 使用 Fun Local 本地运行与调试
前言首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传.函数计算 ...
基于Docker本地运行k8s（单节点）
基于Docker本地运行Kubernetes 概览下面的指引将高速你如何通过Docker创建一个单机.单节点的Kubernetes集群. 下图是最终的结果: 先决条件你必须拥有一台安装有Docke ...
使用 mock 数据在本地运行 SAP Fiori Elements 应用的工作原理
本系列的前两篇文章: 在没有任何前端开发经验的基础上, 创建第一个 SAP Fiori Elements 应用如何使用 mock 数据在本地运行 SAP Fiori Elements 本文研究 Fi ...
SAP WebIDE里本地运行Fiori应用后，会自动生成一个新的Destination
我在Neo环境里通过SAP WebIDE的新建项目菜单创建了一个Fiori应用后,本地运行,会弹出如下的对话框,让用户输入Neo环境的用户名和密码: 确认之后,会自动生成一个新的Destination ...
本地运行flowable_在CockroachDB上运行Flowable
本地运行flowable 什么是CockroachDB? CockroachDB是一个我一直关注了很长时间的项目. 这是一个开放源代码的Apache 2许可数据库( Github链接 ),该数据库在很 ...
解决 VUE：本地运行和服务器上运行样式不一致，run、build 运行时样式有出入
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. 1. 我的情况: 我遇到 2 种情况,一个是表格的分页样式有变化.另一个是导航菜单样式有变化. 2. ...
解决： Vue 项目本地运行 run 与服务器上 build 样式不一致，build 后样式不生效
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. PS:本人遇到这个问题是用文中最后一句话解决:" 在组件的样式中记得添加 'scoped' ...
Hadoop本地运行模式了解~
本地运行模式:单机运行,生产环境不用: 伪分布式模式:单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式环境,生产环境不用: 完全分布式模式:多台服务器组成分布式环境,生产环境使用 ...
本地运行vue.js项目，如何更改调试的默认端口？
运行本地vue.js项目,如何更改调试的默认端口? 之前学会了安装和使用node.js.npm.cnpm.webpack等相关的一些知识和技巧, 但是在搭建vue.js框架,进行开发的时候,会发现在进 ...

本地运行Flink-DIMAPP出现问题

日志级别

Kafka读取Topic

启发

本地运行Flink-DIMAPP出现问题相关推荐

最新文章

热门文章