MapReduce关系代数运算——差

关系沿用上一个选择运算的关系R和S，StudentR类也是一致的，本博文中就不赘述了。

MapReduce程序设计

DifferenceMap

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;public class DifferenceMap extends Mapper<LongWritable, Text, Person, Text> {private Text relationName = new Text();protected void setup(Context context) throws java.io.IOException, InterruptedException {FileSplit fileSplit = (FileSplit) context.getInputSplit();relationName.set(fileSplit.getPath().getName());};protected void map(LongWritable key, Text value, Context context) throws java.io.IOException, InterruptedException {Person person = new Person(value.toString());context.write(person, relationName);};}

DifferenceReduce

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;public class DifferenceReduce extends Reducer<Person, Text, Person, NullWritable> {private String remove = "";protected void setup(Context context) throws java.io.IOException, InterruptedException {Configuration conf = context.getConfiguration();remove = conf.get("remove");};protected void reduce(Person key, Iterable<Text> values, Context context) throws java.io.IOException, InterruptedException {for (Text val : values) {if (remove.equals(val.toString())) {return;}}context.write(key, NullWritable.get());};}

Difference

import java.io.IOException;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class Difference {public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {if (args == null || args.length != 3) {throw new RuntimeException("请输入输入路径、输出路径和被减集合");}Configuration conf = new Configuration();conf.set("remove", args[2]);Job job = Job.getInstance(conf);job.setJobName("Difference");job.setJarByClass(Difference.class);job.setMapperClass(DifferenceMap.class);job.setMapOutputKeyClass(Person.class);job.setMapOutputValueClass(Text.class);job.setReducerClass(DifferenceReduce.class);job.setOutputKeyClass(Person.class);job.setOutputValueClass(NullWritable.class);FileInputFormat.addInputPaths(job, args[0]);FileOutputFormat.setOutputPath(job, new Path(args[1]));System.exit(job.waitForCompletion(true) ? 0 : 1);}}

运行

像之前的WordCount一样将代码打包出来，生成Difference.jar文件。

hadoop jar Difference.jar /input /output relationB

欢迎查看我的博客：Welcome To Ryan’s Home

MapReduce关系代数运算——差相关推荐

MapReduce关系代数运算——选择
MapReduce关系代数运算常见的MapReduce关系代数运算有:选择.投影.并.交.差以及自然连接操作等,本文将介绍选择运算.后续博文介绍其他运算. 关系R 关系R id name age g ...
MapReduce关系代数运算——投影
MapReduce关系代数运算--投影关系沿用上一个选择运算的关系R,StudentR类也是一致的,本博文中就不赘述了. MapReduce程序设计 Projection import org.ap ...
MapReduce关系代数运算——自然连接
MapReduce关系代数运算--自然连接关系沿用之前的R. 创建两个文件表1 student id name sex age 1 Amy female 18 2 Tom male 19 3 Sa ...
MapReduce关系代数运算
常见关系代数运算包括:选择.投影.并.交.差以及自然连接操作等,都可以十分容易利用MapReduce框架进行并行化计算关系R NAME SEX AGE 小明男 25 小红女 18 小张男 22 ...
MapReduce的关系代数运算
关系代数概念 R(A1,A2,...,An)R(A_1,A_2,...,A_n)R(A1,A2,...,An)表示关系的名称是RRR,其属性是A1,A2,...,AnA_1,A_2,...,A ...
MapReduce 基础算法【关系代数运算】
关系代数运算 MapReduce可以在关系代数的运算上发挥重要的作用,因为关系代数运算具有数据相关性低的特性,这使得其便于进行MapReduce的并行化算法设计. 常见的关系代数运算包括选择.投影.并 ...
mysql将sql转为关系代数_关系数据库基础：关系代数运算知识笔记
1.关系代数运算符集合运算符:并(U).差(-).交(∩).笛卡尔积(×) 专门的关系运算符:选择(∂).投影(π).连接(∞).除(÷) 算术比较符:大于(>).大于等于(≥).小于(< ...
计算机二级关系代数运算知识点,计算机二级：关系代数运算.doc
精品文档 . 公共基础专题探究--关系代数运算序号高频考点 1 自然连接:一种特殊的等值连接,它要求两个关系中进行比较的分量必须是相同的属性组,并且在结果中把重复的属性列去掉自然连接满足下面的条 ...
计算机等级关系代数,计算机二级：关系代数运算
计算机二级:关系代数运算计算机二级:关系代数运算作者: 日期: 公共基础专题探究一一关系代数运算序高频考点号 1自然连接一种特殊的等值连接它要求两个关系中进行比较的分量必须是相同的属性组,并 ...

MapReduce关系代数运算——差

MapReduce关系代数运算——差

MapReduce程序设计

运行

MapReduce关系代数运算——差相关推荐

最新文章

热门文章