DataX数据交换，starrockswriter异常解决

使用datax往starrocks里灌数据时一直报错

Caused by: java.lang.NullPointerExceptionat com.starrocks.connector.datax.plugin.writer.starrockswriter.manager.StarRocksStreamLoadVisitor.joinRows(StarRocksStreamLoadVisitor.java:111)at com.starrocks.connector.datax.plugin.writer.starrockswriter.manager.StarRocksStreamLoadVisitor.doStreamLoad(StarRocksStreamLoadVisitor.java:65)at com.starrocks.connector.datax.plugin.writer.starrockswriter.manager.StarRocksWriterManager.asyncFlush(StarRocksWriterManager.java:161)

定位Datax源码com.starrocks.connector.datax.plugin.writer.starrockswriter.manager.StarRocksStreamLoadVisitor

需要配置loadProps参数。
这里的坑是，我查看官方文档时，他说的是非必填

现在源码里看到这里需要该参数，我又看文档，下面居然还有这个注意事项

注意事项

导入参数配置

默认传入的数据均会被转为字符串，并以\t作为列分隔符，\n作为行分隔符，组成csv文件进行StreamLoad导入操作。如需更改列分隔符，则正确配置 loadProps 即可：

"loadProps": {"column_separator": "\\x01","row_delimiter": "\\x02"
}

如需更改导入格式为json，则正确配置 loadProps 即可：

"loadProps": {"format": "json","strip_outer_array": true
}

因此这里的解决方法就是增加loadProps的参数；完整writer参数为：

    "writer": {"name": "starrockswriter", "parameter": {"username": "root","password": "****","database": "database","table": "table_name","preSql":[],"loadProps": {"column_separator": "\\x01","row_delimiter": "\\x02"},"column": ["x","x","x"],"jdbcUrl": "jdbc:mysql://10.x.x.x:9030","loadUrl": ["ip:8030","ip:8030","ip:8030"]}}

DataX数据交换，starrockswriter异常解决相关推荐

Storm 消费Kafka数据及相关异常解决
Storm 消费Kafka数据及相关异常解决问题 KafkaTopoDemo类 bolt类问题 storm报错:Exception in thread "main" java. ...
计算机网络（3）——三种常见的数据交换技术
文章目录数据交换电路交换多路复用技术频分多路复用 FDM 时分多路复用 TDM 波分多路复用 WDM 码分多路复用 CDM 报文交换分组交换数据交换网络核心解决的基本问题:通过数据交换来 ...
c语言链表交换,求单链表的数据交换解决思路
当前位置:我的异常网» C语言 » 求单链表的数据交换解决思路求单链表的数据交换解决思路 www.myexceptions.net 网友分享于:2013-11-04 浏览:14次求单链表的数据 ...
关于MATLAB中xlswrite函数写数据出现服务器异常情况的解决办法
关于MATLAB中xlswrite函数写数据出现服务器异常情况的解决办法参考文章: (1)关于MATLAB中xlswrite函数写数据出现服务器异常情况的解决办法 (2)https://www.cn ...
解决使用JdbcTemplate查询数据产生的异常：EmptyResultDataAccessException: Incorrect result size: expected 1, actual
问题分析今天在使用JdbcTemplate的queryForObject()方法进行数据的查询封装时浏览器报出状态码500的错误,如下图所示: 经代码排查后发现问题,出错代码如下: 我这里是根据用户 ...
RXTXcomm.jar 读取串口数据时报 Underlying input stream returned zero bytes 异常解决方法
RXTXcomm.jar 读取串口数据时报 Underlying input stream returned zero bytes 异常解决方法一.示例程序 1.依赖 2.示例代码 3.测试读取文件 ...
Nginx缓存问题导致的数据异常解决
Nignx这个不作过多介绍,没听过Nginx的,下面的内容请自行略过. 项目场景: 在项目中有的时候为了减少服务间的通讯次数,我们会启用Nginx来作为第一层的缓存,以降低服务端的一些压力(譬如重复刷 ...
hibernate先删除数据，紧接着执行插入时的异常解决之道——中间不能调用flush()、clear()等方法...
hibernate先删除数据,紧接着执行插入时的异常解决之道--中间不能调用flush().clear()等方法项目中包含这样一个寻常的业务:为某一个用户指定用户群.一个用户可以被分配到多个用户群中 ...
如何使数据异常解决不那么卡通化
如何识别和分类数据异常在我们进入根本原因分析最佳实践之前,了解数据和管道中断的方式很重要.数据在这方面很有创意,这也是单元测试数据不足以检测大多数事件的原因之一. 虽然几乎有无数种方法或根本原因可以 ...

DataX数据交换，starrockswriter异常解决

注意事项

导入参数配置

DataX数据交换，starrockswriter异常解决相关推荐

最新文章

热门文章