The writeAsCsv() method can only be used on data sets of tuples.

故障代码:

DataSet<Sales> ds2=env.readCsvFile(inPath).lineDelimiter("\n").fieldDelimiter(",").ignoreFirstLine().includeFields("1111")//四列字段都要.pojoType(Sales.class, "transacitonId","customerId", "itemId", "amountPaid");((DataSource<Sales>) ds2).setParallelism(1).writeAsCsv(outPath, "\n","|", FileSystem.WriteMode.OVERWRITE);env.execute();

完整报错信息如下:

Exception in thread "main" java.lang.IllegalArgumentException: The writeAsCsv() method can only be used on data sets of tuples.
   at org.apache.flink.util.Preconditions.checkArgument(Preconditions.java:139)
   at org.apache.flink.api.java.DataSet.internalWriteAsCsv(DataSet.java:1630)
   at org.apache.flink.api.java.DataSet.writeAsCsv(DataSet.java:1625)
   at HDFS_Read.main(HDFS_Read.java:38)

解决方案:

讲人话就是，这个 writeAsCsv是个半成品，只能写入

DataSet<Tuple3<String,String,Integer>> ds2

这种类型的数据，不支持pojo类型的数据写入

The writeAsCsv() method can only be used on data sets of tuples.相关推荐

FEDAT:A Communication-Efficient Federated Learning Method With Asynchronous Tires Under Non-IID Data
背景目前的联邦学习架构存在着以下问题: 流浪者问题(straggler problem):由于数据的异构和通信效率的不一致,中央服务器需要等待最慢的那个设备把数据返回之后才能进行下一轮的训练大量的 ...
flink dataset api使用及原理
随着大数据技术在各行各业的广泛应用,要求能对海量数据进行实时处理的需求越来越多,同时数据处理的业务逻辑也越来越复杂,传统的批处理方式和早期的流式处理框架也越来越难以在延迟性.吞吐量.容错能力以及使用便 ...
从flink-example分析flink组件(1)WordCount batch实战及源码分析
上一章<windows下flink示例程序的执行> 简单介绍了一下flink在windows下如何通过flink-webui运行已经打包完成的示例程序(jar),那么我们为什么要使用fli ...
【论文合集】Awesome Anomaly Detection
github:GitHub - bitzhangcy/Deep-Learning-Based-Anomaly-Detection Anomaly Detection: The process of d ...
JsBridge Uncaught TypeError: Cannot call method 'callHandler' of undefined, source
h5和原生结合开发app越来越流行.其实就是webview 的js调用native的方法.也就是需要搭建一个桥.这样的桥早就有人搭建好了,那就是jsbridge. git地址: https://git ...
使用 Feign 调用分页接口报错：Method has too many Body parameters(亲测)
一.背景接口定义: @ApiOperation(value = "分页查询会话") @PostMapping(Routes.SESSIONS_QUERY) JsonResult& ...
501 -- Introduction to Unsupervised Method
◼ Purpose: To discover unknown relationship ◼ To discover patterns in the data that perhaps you hadn ...
java 本地方法栈_JVM学习笔记-本地方法栈(Native Method Stacks)
本地方法栈(Native Method Stacks)与虚拟机栈所发挥的作用是非常相似的,其区别不过是虚拟机栈为虚拟机执行Java方法(也就是字节码)服务,而本地方法栈则是为虚拟机使用到的Native ...
@Value Cannot find method ‘value‘(lombok冲突)
报错 Cannot find method 'value' 因为一开始顺手@Data,idea自动导入了lombok.Data的包: 之后想使用@Value,idea自动导入了lombok下的Valu ...

The writeAsCsv() method can only be used on data sets of tuples.

The writeAsCsv() method can only be used on data sets of tuples.相关推荐

最新文章

热门文章