java写spark碰到输出为[Ljava.lang.String；@889a8a8的情况

原始代码如下:

import com.sun.rowset.internal.Row;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.function.*;
import org.slf4j.event.Level;
import scala.Tuple2;
import java.util.*;
import java.util.Random;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.SparkContext;
import java.util.Iterator;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import java.lang.*;
//import org.apache.log4j.Level;
import org.apache.log4j.Logger;
//import java.util.logging.Logger;public class sampling_salting
{public static void main(String[]  args){Logger.getLogger("org.apache.hadoop").setLevel(org.apache.log4j.Level.WARN);Logger.getLogger("org.apache.spark").setLevel(org.apache.log4j.Level.WARN);Logger.getLogger("org.project-spark").setLevel(org.apache.log4j.Level.WARN);//-------------------------------------读取rdd1数据-------------------------------------------------------//    SparkConf conf = new SparkConf().setMaster("local").setAppName("wordcount1");
//    JavaSparkContext sc = new JavaSparkContext(conf);
//    sc.setLogLevel("WARN");
//
//    String filename = "/home/appleyuchi/桌面/spark_success/Spark数据倾斜处理/Java/sampling_salting/src/main/java/rdd1.txt";
//    JavaRDD<String> input = sc.textFile(filename);
//    JavaRDD<String> lines = input.flatMap(func0);
//
//    JavaPairRDD<String,Long> rdd1 = lines.mapToPair(new PairFunction<String, String,Long>()
//    {
//        public Tuple2<String, Long> call(String s) throws Exception
//        {
//            return new Tuple2<String, Long>(s,1L);
//        }
//    });SparkConf conf=new SparkConf().setMaster("local").setAppName("join");JavaSparkContext sc=new JavaSparkContext(conf);//  rdd2=sc.textFile("hdfs://Desktop:9000/rdd2.csv").map(line->line.split(",")).map
//List<Tuple2<String, String>>stus=Arrays.asList(new Tuple2<>("w1","1"),new Tuple2<>("w2","2"),new Tuple2<>("w3","3"),new Tuple2<>("w2","22"),new Tuple2<>("w1","11"));List<Tuple2<String, String>>scores=Arrays.asList(new Tuple2<>("w1","a1"),new Tuple2<>("w2","a2"),new Tuple2<>("w2","a22"),new Tuple2<>("w1","a11"),new Tuple2<>("w3","a3"));JavaPairRDD<String, String> stusRdd=sc.parallelizePairs(stus);JavaPairRDD<String, String> scoresRdd=sc.parallelizePairs(scores);JavaPairRDD<String, Tuple2<String, String>>result=stusRdd.join(scoresRdd);System.out.println(result.collect());JavaRDD<String[]> rdd1 = sc.textFile("hdfs://Desktop:9000/rdd1.csv").map(line -> line.split(","));//         System.out.println(Arrays.toString(rdd1.collect().get(0)));System.out.println(rdd1.collect().get(0));}
}

输出结果为:

[(w2,(2,a2)), (w2,(2,a22)), (w2,(22,a2)), (w2,(22,a22)), (w3,(3,a3)), (w1,(1,a1)), (w1,(1,a11)), (w1,(11,a1)), (w1,(11,a11))]
[Ljava.lang.String;@889a8a8

解决方案:

System.out.println(Arrays.toString(rdd1.collect().get(0)));

java写spark碰到输出为[Ljava.lang.String；@889a8a8的情况相关推荐

[Ljava.lang.String
[Ljava.lang.String: [ 表示一维数组,[[ 二维数组-- L 表示是对象类型 .而java.lang.String 这个就是字符串. System.out.println(&quo ...
java输出的时候出现[Ljava.lang.String是什么意思+解决方法
例如: public static void main(String[] args) {String a1 = "123.sdggs.1234df";String[] a2 = a ...
Spark读取Hbase报错NoSuchMethodError: org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String;
NoSuchMethodError一般报错都是包冲突导致的. java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.get ...
在拦截器中获取请求参数，[Ljava.lang.String; cannot be cast to java.lang.String报错
Map<String,Object> parametersmap=invocation.getInvocationContext().getParameters();//获取请求参数 ...
[Ljava.lang.String和java.lang.String区别
[Ljava.lang.String和java.lang.String区别注:[Ljava.lang.String@1b634e7 -- "[" 表示一维数组 ...
java字段描述符_Java 的方法签名与字段类型表示-[Ljava.lang.String;
我们什么时候会接触到 Java 的方法签名呢?在进行 JNI 调用时,还有在看方法重载时.重载的方法是有不同的方法签名的,而是不区分返回值,而实际方法签名还揉入了返回值类型的,还有就是 javap - ...
java.lang.ClassCastException: [Ljava.lang.Object; cannot be cast to [Ljava.lang.String，toArray向下转型失败
问题: 将集合通过toArray转为Object[]数组后,再通过向下转型失败源代码: public void test(){List<String> list = new ArrayL ...
Java中出现[Ljava.lang.String的问题
当打印一个字符串数组时:System.out.println(Str1),则会出现[Ljava.lang.String 例如: String[] Str1 = new String[10]; Stri ...
【SendSms】短信服务java.lang.NoSuchMethodError: com.google.gson.JsonParser.parseString(Ljava/lang/String；)
问题: 项目开发过程中使用到阿里云短信服务,启动模块时报错,抛出 Exception in thread "main" java.lang.NoSuchMethodError: c ...

java写spark碰到输出为[Ljava.lang.String；@889a8a8的情况

java写spark碰到输出为[Ljava.lang.String；@889a8a8的情况相关推荐

最新文章

热门文章