Assistance.Java  辅助类，功能详见注释

[java] view plaincopy
  1. package KMeans;
  2. import org.apache.hadoop.conf.Configuration;
  3. import org.apache.hadoop.fs.FSDataInputStream;
  4. import org.apache.hadoop.fs.FSDataOutputStream;
  5. import org.apache.hadoop.fs.FileSystem;
  6. import org.apache.hadoop.fs.Path;
  7. import org.apache.hadoop.io.Text;
  8. import org.apache.hadoop.util.LineReader;
  9. import java.io.IOException;
  10. import java.util.*;
  11. public class Assistance {
  12. //读取聚类中心点信息：聚类中心ID、聚类中心点
  13. public static List<ArrayList<Float>> getCenters(String inputpath){
  14. List<ArrayList<Float>> result = new ArrayList<ArrayList<Float>>();
  15. Configuration conf = new Configuration();
  16. try {
  17. FileSystem hdfs = FileSystem.get(conf);
  18. Path in = new Path(inputpath);
  19. FSDataInputStream fsIn = hdfs.open(in);
  20. LineReader lineIn = new LineReader(fsIn, conf);
  21. Text line = new Text();
  22. while (lineIn.readLine(line) > 0){
  23. String record = line.toString();
  24. /*
  25. 因为Hadoop输出键值对时会在键跟值之间添加制表符，
  26. 所以用空格代替之。
  27. */
  28. String[] fields = record.replace("\t", " ").split(" ");
  29. List<Float> tmplist = new ArrayList<Float>();
  30. for (int i = 0; i < fields.length; ++i){
  31. tmplist.add(Float.parseFloat(fields[i]));
  32. }
  33. result.add((ArrayList<Float>) tmplist);
  34. }
  35. fsIn.close();
  36. } catch (IOException e){
  37. e.printStackTrace();
  38. }
  39. return result;
  40. }
  41. //删除上一次MapReduce作业的结果
  42. public static void deleteLastResult(String path){
  43. Configuration conf = new Configuration();
  44. try {
  45. FileSystem hdfs = FileSystem.get(conf);
  46. Path path1 = new Path(path);
  47. hdfs.delete(path1, true);
  48. } catch (IOException e){
  49. e.printStackTrace();
  50. }
  51. }
  52. //计算相邻两次迭代结果的聚类中心的距离，判断是否满足终止条件
  53. public static boolean isFinished(String oldpath, String newpath, int k, float threshold)
  54. throws IOException{
  55. List<ArrayList<Float>> oldcenters = Assistance.getCenters(oldpath);
  56. List<ArrayList<Float>> newcenters = Assistance.getCenters(newpath);
  57. float distance = 0;
  58. for (int i = 0; i < k; ++i){
  59. for (int j = 1; j < oldcenters.get(i).size(); ++j){
  60. float tmp = Math.abs(oldcenters.get(i).get(j) - newcenters.get(i).get(j));
  61. distance += Math.pow(tmp, 2);
  62. }
  63. }
  64. System.out.println("Distance = " + distance + " Threshold = " + threshold);
  65. if (distance < threshold)
  66. return true;
  67. /*
  68. 如果不满足终止条件，则用本次迭代的聚类中心更新聚类中心
  69. */
  70. Assistance.deleteLastResult(oldpath);
  71. Configuration conf = new Configuration();
  72. FileSystem hdfs = FileSystem.get(conf);
  73. hdfs.copyToLocalFile(new Path(newpath), new Path("/home/hadoop/class/oldcenter.data"));
  74. hdfs.delete(new Path(oldpath), true);
  75. hdfs.moveFromLocalFile(new Path("/home/hadoop/class/oldcenter.data"), new Path(oldpath));
  76. return false;
  77. }
  78. }

KMeansDriver.java 作业驱动类

[java] view plaincopy
  1. package KMeans;
  2. import org.apache.hadoop.conf.Configuration;
  3. import org.apache.hadoop.fs.FileSystem;
  4. import org.apache.hadoop.fs.Path;
  5. import org.apache.hadoop.io.IntWritable;
  6. import org.apache.hadoop.io.Text;
  7. import org.apache.hadoop.mapreduce.Job;
  8. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  9. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  10. import org.apache.hadoop.util.GenericOptionsParser;
  11. import java.io.IOException;
  12. public class KMeansDriver{
  13. public static void main(String[] args) throws Exception{
  14. int repeated = 0;
  15. /*
  16. 不断提交MapReduce作业指导相邻两次迭代聚类中心的距离小于阈值或到达设定的迭代次数
  17. */
  18. do {
  19. Configuration conf = new Configuration();
  20. String[] otherArgs  = new GenericOptionsParser(conf, args).getRemainingArgs();
  21. if (otherArgs.length != 6){
  22. System.err.println("Usage: <int> <out> <oldcenters> <newcenters> <k> <threshold>");
  23. System.exit(2);
  24. }
  25. conf.set("centerpath", otherArgs[2]);
  26. conf.set("kpath", otherArgs[4]);
  27. Job job = new Job(conf, "KMeansCluster");//新建MapReduce作业
  28. job.setJarByClass(KMeansDriver.class);//设置作业启动类
  29. Path in = new Path(otherArgs[0]);
  30. Path out = new Path(otherArgs[1]);
  31. FileInputFormat.addInputPath(job, in);//设置输入路径
  32. FileSystem fs = FileSystem.get(conf);
  33. if (fs.exists(out)){//如果输出路径存在，则先删除之
  34. fs.delete(out, true);
  35. }
  36. FileOutputFormat.setOutputPath(job, out);//设置输出路径
  37. job.setMapperClass(KMeansMapper.class);//设置Map类
  38. job.setReducerClass(KMeansReducer.class);//设置Reduce类
  39. job.setOutputKeyClass(IntWritable.class);//设置输出键的类
  40. job.setOutputValueClass(Text.class);//设置输出值的类
  41. job.waitForCompletion(true);//启动作业
  42. ++repeated;
  43. System.out.println("We have repeated " + repeated + " times.");
  44. } while (repeated < 10 && (Assistance.isFinished(args[2], args[3], Integer.parseInt(args[4]), Float.parseFloat(args[5])) == false));
  45. //根据最终得到的聚类中心对数据集进行聚类
  46. Cluster(args);
  47. }
  48. public static void Cluster(String[] args)
  49. throws IOException, InterruptedException, ClassNotFoundException{
  50. Configuration conf = new Configuration();
  51. String[] otherArgs  = new GenericOptionsParser(conf, args).getRemainingArgs();
  52. if (otherArgs.length != 6){
  53. System.err.println("Usage: <int> <out> <oldcenters> <newcenters> <k> <threshold>");
  54. System.exit(2);
  55. }
  56. conf.set("centerpath", otherArgs[2]);
  57. conf.set("kpath", otherArgs[4]);
  58. Job job = new Job(conf, "KMeansCluster");
  59. job.setJarByClass(KMeansDriver.class);
  60. Path in = new Path(otherArgs[0]);
  61. Path out = new Path(otherArgs[1]);
  62. FileInputFormat.addInputPath(job, in);
  63. FileSystem fs = FileSystem.get(conf);
  64. if (fs.exists(out)){
  65. fs.delete(out, true);
  66. }
  67. FileOutputFormat.setOutputPath(job, out);
  68. //因为只是将样本点聚类，不需要reduce操作，故不设置Reduce类
  69. job.setMapperClass(KMeansMapper.class);
  70. job.setOutputKeyClass(IntWritable.class);
  71. job.setOutputValueClass(Text.class);
  72. job.waitForCompletion(true);
  73. }
  74. }

KMeansMapper.java

[java] view plaincopy
  1. package KMeans;
  2. import org.apache.hadoop.io.IntWritable;
  3. import org.apache.hadoop.io.LongWritable;
  4. import org.apache.hadoop.io.Text;
  5. import org.apache.hadoop.mapreduce.Mapper;
  6. import java.io.IOException;
  7. import java.util.ArrayList;
  8. import java.util.List;
  9. public class KMeansMapper extends Mapper<Object, Text, IntWritable, Text> {
  10. public void map(Object key, Text value, Context context)
  11. throws IOException, InterruptedException{
  12. String line = value.toString();
  13. String[] fields = line.split(" ");
  14. List<ArrayList<Float>> centers = Assistance.getCenters(context.getConfiguration().get("centerpath"));
  15. int k = Integer.parseInt(context.getConfiguration().get("kpath"));
  16. float minDist = Float.MAX_VALUE;
  17. int centerIndex = k;
  18. //计算样本点到各个中心的距离，并把样本聚类到距离最近的中心点所属的类
  19. for (int i = 0; i < k; ++i){
  20. float currentDist = 0;
  21. for (int j = 0; j < fields.length; ++j){
  22. float tmp = Math.abs(centers.get(i).get(j + 1) - Float.parseFloat(fields[j]));
  23. currentDist += Math.pow(tmp, 2);
  24. }
  25. if (minDist > currentDist){
  26. minDist = currentDist;
  27. centerIndex = i;
  28. }
  29. }
  30. context.write(new IntWritable(centerIndex), new Text(value));
  31. }
  32. }

KMeansReducer.java

[java] view plaincopy
  1. package KMeans;
  2. import org.apache.hadoop.io.IntWritable;
  3. import org.apache.hadoop.io.Text;
  4. import org.apache.hadoop.mapreduce.Reducer;
  5. import java.io.IOException;
  6. import java.util.ArrayList;
  7. import java.util.List;
  8. public class KMeansReducer extends Reducer<IntWritable, Text, IntWritable, Text> {
  9. public void reduce(IntWritable key, Iterable<Text> value, Context context)
  10. throws IOException, InterruptedException{
  11. List<ArrayList<Float>> assistList = new ArrayList<ArrayList<Float>>();
  12. String tmpResult = "";
  13. for (Text val : value){
  14. String line = val.toString();
  15. String[] fields = line.split(" ");
  16. List<Float> tmpList = new ArrayList<Float>();
  17. for (int i = 0; i < fields.length; ++i){
  18. tmpList.add(Float.parseFloat(fields[i]));
  19. }
  20. assistList.add((ArrayList<Float>) tmpList);
  21. }
  22. //计算新的聚类中心
  23. for (int i = 0; i < assistList.get(0).size(); ++i){
  24. float sum = 0;
  25. for (int j = 0; j < assistList.size(); ++j){
  26. sum += assistList.get(j).get(i);
  27. }
  28. float tmp = sum / assistList.size();
  29. if (i == 0){
  30. tmpResult += tmp;
  31. }
  32. else{
  33. tmpResult += " " + tmp;
  34. }
  35. }
  36. Text result = new Text(tmpResult);
  37. context.write(key, result);
  38. }
  39. }

作业运行情况：

[plain] view plaincopy
  1. hadoop@shaobo-ThinkPad-E420:~/class$ hadoop jar KMeans.jar KMeans.KMeansDriver input/iris.data output input/oldcenter.data output/part-r-00000 3 0.0001
  2. 14/04/17 16:15:50 INFO input.FileInputFormat: Total input paths to process : 1
  3. 14/04/17 16:15:51 INFO mapred.JobClient: Running job: job_201404171511_0012
  4. 14/04/17 16:15:52 INFO mapred.JobClient:  map 0% reduce 0%
  5. 14/04/17 16:16:07 INFO mapred.JobClient:  map 100% reduce 0%
  6. 14/04/17 16:16:19 INFO mapred.JobClient:  map 100% reduce 100%
  7. 14/04/17 16:16:24 INFO mapred.JobClient: Job complete: job_201404171511_0012
  8. 14/04/17 16:16:24 INFO mapred.JobClient: Counters: 25
  9. 14/04/17 16:16:24 INFO mapred.JobClient:   Job Counters
  10. 14/04/17 16:16:24 INFO mapred.JobClient:     Launched reduce tasks=1
  11. 14/04/17 16:16:24 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=12041
  12. 14/04/17 16:16:24 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
  13. 14/04/17 16:16:24 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
  14. 14/04/17 16:16:24 INFO mapred.JobClient:     Launched map tasks=1
  15. 14/04/17 16:16:24 INFO mapred.JobClient:     Data-local map tasks=1
  16. 14/04/17 16:16:24 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=10030
  17. 14/04/17 16:16:24 INFO mapred.JobClient:   File Output Format Counters
  18. 14/04/17 16:16:24 INFO mapred.JobClient:     Bytes Written=125
  19. 14/04/17 16:16:24 INFO mapred.JobClient:   FileSystemCounters
  20. 14/04/17 16:16:24 INFO mapred.JobClient:     FILE_BYTES_READ=3306
  21. 14/04/17 16:16:24 INFO mapred.JobClient:     HDFS_BYTES_READ=11214
  22. 14/04/17 16:16:24 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=48901
  23. 14/04/17 16:16:24 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=125
  24. 14/04/17 16:16:24 INFO mapred.JobClient:   File Input Format Counters
  25. 14/04/17 16:16:24 INFO mapred.JobClient:     Bytes Read=2550
  26. 14/04/17 16:16:24 INFO mapred.JobClient:   Map-Reduce Framework
  27. 14/04/17 16:16:24 INFO mapred.JobClient:     Reduce input groups=3
  28. 14/04/17 16:16:24 INFO mapred.JobClient:     Map output materialized bytes=3306
  29. 14/04/17 16:16:24 INFO mapred.JobClient:     Combine output records=0
  30. 14/04/17 16:16:24 INFO mapred.JobClient:     Map input records=150
  31. 14/04/17 16:16:24 INFO mapred.JobClient:     Reduce shuffle bytes=0
  32. 14/04/17 16:16:24 INFO mapred.JobClient:     Reduce output records=3
  33. 14/04/17 16:16:24 INFO mapred.JobClient:     Spilled Records=300
  34. 14/04/17 16:16:24 INFO mapred.JobClient:     Map output bytes=3000
  35. 14/04/17 16:16:24 INFO mapred.JobClient:     Combine input records=0
  36. 14/04/17 16:16:24 INFO mapred.JobClient:     Map output records=150
  37. 14/04/17 16:16:24 INFO mapred.JobClient:     SPLIT_RAW_BYTES=114
  38. 14/04/17 16:16:24 INFO mapred.JobClient:     Reduce input records=150
  39. We have repeated 1 times.
  40. Distance = 0.35025704 Threshold = 1.0E-4
  41. 14/04/17 16:16:24 INFO input.FileInputFormat: Total input paths to process : 1
  42. 14/04/17 16:16:25 INFO mapred.JobClient: Running job: job_201404171511_0013
  43. 14/04/17 16:16:26 INFO mapred.JobClient:  map 0% reduce 0%
  44. 14/04/17 16:16:40 INFO mapred.JobClient:  map 100% reduce 0%
  45. 14/04/17 16:16:52 INFO mapred.JobClient:  map 100% reduce 100%
  46. 14/04/17 16:16:57 INFO mapred.JobClient: Job complete: job_201404171511_0013
  47. 14/04/17 16:16:57 INFO mapred.JobClient: Counters: 25
  48. 14/04/17 16:16:57 INFO mapred.JobClient:   Job Counters
  49. 14/04/17 16:16:57 INFO mapred.JobClient:     Launched reduce tasks=1
  50. 14/04/17 16:16:57 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=12077
  51. 14/04/17 16:16:57 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
  52. 14/04/17 16:16:57 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
  53. 14/04/17 16:16:57 INFO mapred.JobClient:     Launched map tasks=1
  54. 14/04/17 16:16:57 INFO mapred.JobClient:     Data-local map tasks=1
  55. 14/04/17 16:16:57 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=10048
  56. 14/04/17 16:16:57 INFO mapred.JobClient:   File Output Format Counters
  57. 14/04/17 16:16:57 INFO mapred.JobClient:     Bytes Written=116
  58. 14/04/17 16:16:57 INFO mapred.JobClient:   FileSystemCounters
  59. 14/04/17 16:16:57 INFO mapred.JobClient:     FILE_BYTES_READ=3306
  60. 14/04/17 16:16:57 INFO mapred.JobClient:     HDFS_BYTES_READ=21414
  61. 14/04/17 16:16:57 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=48901
  62. 14/04/17 16:16:57 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=116
  63. 14/04/17 16:16:57 INFO mapred.JobClient:   File Input Format Counters
  64. 14/04/17 16:16:57 INFO mapred.JobClient:     Bytes Read=2550
  65. 14/04/17 16:16:57 INFO mapred.JobClient:   Map-Reduce Framework
  66. 14/04/17 16:16:57 INFO mapred.JobClient:     Reduce input groups=3
  67. 14/04/17 16:16:57 INFO mapred.JobClient:     Map output materialized bytes=3306
  68. 14/04/17 16:16:57 INFO mapred.JobClient:     Combine output records=0
  69. 14/04/17 16:16:57 INFO mapred.JobClient:     Map input records=150
  70. 14/04/17 16:16:57 INFO mapred.JobClient:     Reduce shuffle bytes=3306
  71. 14/04/17 16:16:57 INFO mapred.JobClient:     Reduce output records=3
  72. 14/04/17 16:16:57 INFO mapred.JobClient:     Spilled Records=300
  73. 14/04/17 16:16:57 INFO mapred.JobClient:     Map output bytes=3000
  74. 14/04/17 16:16:57 INFO mapred.JobClient:     Combine input records=0
  75. 14/04/17 16:16:57 INFO mapred.JobClient:     Map output records=150
  76. 14/04/17 16:16:57 INFO mapred.JobClient:     SPLIT_RAW_BYTES=114
  77. 14/04/17 16:16:57 INFO mapred.JobClient:     Reduce input records=150
  78. We have repeated 2 times.
  79. Distance = 0.006297064 Threshold = 1.0E-4
  80. 14/04/17 16:16:57 INFO input.FileInputFormat: Total input paths to process : 1
  81. 14/04/17 16:16:58 INFO mapred.JobClient: Running job: job_201404171511_0014
  82. 14/04/17 16:16:59 INFO mapred.JobClient:  map 0% reduce 0%
  83. 14/04/17 16:17:14 INFO mapred.JobClient:  map 100% reduce 0%
  84. 14/04/17 16:17:25 INFO mapred.JobClient:  map 100% reduce 100%
  85. 14/04/17 16:17:30 INFO mapred.JobClient: Job complete: job_201404171511_0014
  86. 14/04/17 16:17:30 INFO mapred.JobClient: Counters: 25
  87. 14/04/17 16:17:30 INFO mapred.JobClient:   Job Counters
  88. 14/04/17 16:17:30 INFO mapred.JobClient:     Launched reduce tasks=1
  89. 14/04/17 16:17:30 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=12046
  90. 14/04/17 16:17:30 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
  91. 14/04/17 16:17:30 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
  92. 14/04/17 16:17:30 INFO mapred.JobClient:     Launched map tasks=1
  93. 14/04/17 16:17:30 INFO mapred.JobClient:     Data-local map tasks=1
  94. 14/04/17 16:17:30 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=10051
  95. 14/04/17 16:17:30 INFO mapred.JobClient:   File Output Format Counters
  96. 14/04/17 16:17:30 INFO mapred.JobClient:     Bytes Written=116
  97. 14/04/17 16:17:30 INFO mapred.JobClient:   FileSystemCounters
  98. 14/04/17 16:17:30 INFO mapred.JobClient:     FILE_BYTES_READ=3306
  99. 14/04/17 16:17:30 INFO mapred.JobClient:     HDFS_BYTES_READ=20064
  100. 14/04/17 16:17:30 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=48901
  101. 14/04/17 16:17:30 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=116
  102. 14/04/17 16:17:30 INFO mapred.JobClient:   File Input Format Counters
  103. 14/04/17 16:17:30 INFO mapred.JobClient:     Bytes Read=2550
  104. 14/04/17 16:17:30 INFO mapred.JobClient:   Map-Reduce Framework
  105. 14/04/17 16:17:30 INFO mapred.JobClient:     Reduce input groups=3
  106. 14/04/17 16:17:30 INFO mapred.JobClient:     Map output materialized bytes=3306
  107. 14/04/17 16:17:30 INFO mapred.JobClient:     Combine output records=0
  108. 14/04/17 16:17:30 INFO mapred.JobClient:     Map input records=150
  109. 14/04/17 16:17:30 INFO mapred.JobClient:     Reduce shuffle bytes=0
  110. 14/04/17 16:17:30 INFO mapred.JobClient:     Reduce output records=3
  111. 14/04/17 16:17:30 INFO mapred.JobClient:     Spilled Records=300
  112. 14/04/17 16:17:30 INFO mapred.JobClient:     Map output bytes=3000
  113. 14/04/17 16:17:30 INFO mapred.JobClient:     Combine input records=0
  114. 14/04/17 16:17:30 INFO mapred.JobClient:     Map output records=150
  115. 14/04/17 16:17:30 INFO mapred.JobClient:     SPLIT_RAW_BYTES=114
  116. 14/04/17 16:17:30 INFO mapred.JobClient:     Reduce input records=150
  117. We have repeated 3 times.
  118. Distance = 0.0 Threshold = 1.0E-4
  119. 14/04/17 16:17:30 INFO input.FileInputFormat: Total input paths to process : 1
  120. 14/04/17 16:17:30 INFO mapred.JobClient: Running job: job_201404171511_0015
  121. 14/04/17 16:17:31 INFO mapred.JobClient:  map 0% reduce 0%
  122. 14/04/17 16:17:47 INFO mapred.JobClient:  map 100% reduce 0%
  123. 14/04/17 16:17:59 INFO mapred.JobClient:  map 100% reduce 100%
  124. 14/04/17 16:18:04 INFO mapred.JobClient: Job complete: job_201404171511_0015
  125. 14/04/17 16:18:04 INFO mapred.JobClient: Counters: 25
  126. 14/04/17 16:18:04 INFO mapred.JobClient:   Job Counters
  127. 14/04/17 16:18:04 INFO mapred.JobClient:     Launched reduce tasks=1
  128. 14/04/17 16:18:04 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=12036
  129. 14/04/17 16:18:04 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
  130. 14/04/17 16:18:04 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
  131. 14/04/17 16:18:04 INFO mapred.JobClient:     Launched map tasks=1
  132. 14/04/17 16:18:04 INFO mapred.JobClient:     Data-local map tasks=1
  133. 14/04/17 16:18:04 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=10050
  134. 14/04/17 16:18:04 INFO mapred.JobClient:   File Output Format Counters
  135. 14/04/17 16:18:04 INFO mapred.JobClient:     Bytes Written=2700
  136. 14/04/17 16:18:04 INFO mapred.JobClient:   FileSystemCounters
  137. 14/04/17 16:18:04 INFO mapred.JobClient:     FILE_BYTES_READ=3306
  138. 14/04/17 16:18:04 INFO mapred.JobClient:     HDFS_BYTES_READ=20064
  139. 14/04/17 16:18:04 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=48717
  140. 14/04/17 16:18:04 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=2700
  141. 14/04/17 16:18:04 INFO mapred.JobClient:   File Input Format Counters
  142. 14/04/17 16:18:04 INFO mapred.JobClient:     Bytes Read=2550
  143. 14/04/17 16:18:04 INFO mapred.JobClient:   Map-Reduce Framework
  144. 14/04/17 16:18:04 INFO mapred.JobClient:     Reduce input groups=3
  145. 14/04/17 16:18:04 INFO mapred.JobClient:     Map output materialized bytes=3306
  146. 14/04/17 16:18:04 INFO mapred.JobClient:     Combine output records=0
  147. 14/04/17 16:18:04 INFO mapred.JobClient:     Map input records=150
  148. 14/04/17 16:18:04 INFO mapred.JobClient:     Reduce shuffle bytes=0
  149. 14/04/17 16:18:04 INFO mapred.JobClient:     Reduce output records=150
  150. 14/04/17 16:18:04 INFO mapred.JobClient:     Spilled Records=300
  151. 14/04/17 16:18:04 INFO mapred.JobClient:     Map output bytes=3000
  152. 14/04/17 16:18:04 INFO mapred.JobClient:     Combine input records=0
  153. 14/04/17 16:18:04 INFO mapred.JobClient:     Map output records=150
  154. 14/04/17 16:18:04 INFO mapred.JobClient:     SPLIT_RAW_BYTES=114
  155. 14/04/17 16:18:04 INFO mapred.JobClient:     Reduce input records=150
from: http://blog.csdn.net/jdplus/article/details/23960127

KMeans聚类算法Hadoop实现相关推荐

  1. Hadoop平台K-Means聚类算法分布式实现+MapReduce通俗讲解

        Hadoop平台K-Means聚类算法分布式实现+MapReduce通俗讲解 在Hadoop分布式环境下实现K-Means聚类算法的伪代码如下: 输入:参数0--存储样本数据的文本文件inpu ...

  2. 改用MyAnalyzer的KMeans聚类算法

    <strong><span style="font-size:18px;">/**** @author YangXin* @info 改用MyAnalyze ...

  3. java iris_利用K-Means聚类算法实现对iris.data.ulab

    该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 利用K-Means聚类算法实现对iris.data.ulabel数据的聚类,这是在网上找到如果要换成我的iris.date iris.date.ulabl ...

  4. k-means聚类算法从入门到精通

    k-means算法是非监督聚类最常用的一种方法,因其算法简单和很好的适用于大样本数据,广泛应用于不同领域,本文详细总结了k-means聚类算法原理 . 目录 1. k-means聚类算法原理 2. k ...

  5. 基于K-Means聚类算法的主颜色提取

    点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 01.简介 本期我们将一起实现基于K-Means聚类算法的主色提取 ...

  6. K-means聚类算法和模糊C-means聚类算法

    K-means聚类算法和模糊C-means聚类算法 1.K-means聚类算法 K-means算法是硬聚类算法,是典型的基于原型的目标函数聚类方法的代表,它是数据点到原型的某种距离作为优化的目标函数, ...

  7. 基于Kmeans聚类算法的图像分割（色彩分割）实战

    基于Kmeans聚类算法的图像分割(色彩分割)实战 图像分割是将一幅图像分割成多个像素区域的任务.属于同一对象类型的所有像素都被分配到同一类别下.图像分类是给一副完整的图像一个类别,目标检测是检测到图 ...

  8. 基于经典的机器学习k-means聚类算法实现对三通道图片的压缩操作

    https://www.toutiao.com/a6573221465104056846/ 压缩图片的原理 k-means算法实现图像的压缩是k-means聚类算法的一个经典的应用,它把一个彩色图压缩 ...

  9. K-means聚类算法的三种改进(K-means++,ISODATA,Kernel K-means)介绍与对比

    原文:http://www.cnblogs.com/yixuan-xu/p/6272208.html K-means聚类算法的三种改进(K-means++,ISODATA,Kernel K-means ...

最新文章

  1. R语言基于机器学习算法进行特征筛选（Feature Selection）
  2. 联想杜比音效_联想小新15 2020锐龙版首销；OPPO Find X2系列也可尝鲜安卓11
  3. 年薪50万的程序员_这些年薪50万+的程序员都经历了什么？
  4. Instruments模板介绍（更新中...）
  5. python选择日期控件_Flask学习笔记-使用bootstrap-datepicker实现页面日期选择
  6. Win7下硬盘安装Redhat双系统
  7. java队列实现限流,java中应对高并发的两种策略
  8. protel四层板及内电层分割入门
  9. asp.net铁路安全预警与决策支持系统
  10. Ubuntu18.04的截图问题
  11. 【软件网每日新闻播报│第9-20期】
  12. Unity (NavMeshAgent 导航系统)
  13. 梅特勒托利多xk3124电子秤说明书_梅特勒托利多称重仪表XK3124 B520
  14. 黑色沙漠(黑沙)单机版局域网联机外网公网教程
  15. Altium Designer之PCB库部分名称区分
  16. 【解决】阿拉伯语等右向左排版文字CSS解决方案
  17. 如何使用Visual C进行画图
  18. Access 2003 的输入掩码(Input Mask)
  19. office中为何还要保留Access数据库? 【3500人回复】知乎
  20. 体系解读罗克韦尔MES平台FTPC-跟我入门MES/MOM系列特别篇

热门文章

  1. 第一章 Web MVC简介 —— 跟开涛学SpringMVC
  2. 288家众筹平台正常运营 43家停运或倒闭
  3. Java Review - 线程池中使用ThreadLocal不当导致的内存泄漏案例源码分析
  4. Redis进阶 - 因异常断电导致的Redis Cluster Fail故障处理
  5. 白话Elasticsearch72_利用HDFS备份与恢复ES生产集群的数据
  6. 白话Elasticsearch10-深度探秘搜索技术之基于dis_max实现best fields策略进行多字段搜索
  7. Quartz-异常处理
  8. Imageloader1-总体简介
  9. 数据结构与算法笔记（二）—— 顺序表
  10. 学习笔记（九）——JSON 和 AJAX