关于大数据统计大量股票开盘平均价和收盘价的简单程序程序

1.需要统计的文件

2.单个文件的内容

3.程序内容

package com.test4;
import java.io.IOException;
import java.util.Iterator;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;public class CodeX {/*** @param args* @throws IOException * @throws InterruptedException * @throws ClassNotFoundException */public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {// TODO Auto-generated method stubConfiguration conf = new Configuration();conf.set("fs.default.name", "hdfs://localhost:9000");String[] otherArgs = (new GenericOptionsParser(conf,args)).getRemainingArgs();if(otherArgs.length<2){System.err.println("Usage:CodeX<in><out>");System.exit(2);}Job job = Job.getInstance(conf,"CodeX");job.setJarByClass(CodeX.class);job.setMapperClass(CodeX.Map.class);System.out.println("Mapper over");
//      job.setCombinerClass(CodeX.Reduce.class);job.setReducerClass(CodeX.Reduce.class);System.out.println("Reduce over");job.setOutputKeyClass(Text.class);job.setOutputValueClass(Text.class);System.out.println("all over");for(int i = 0;i<otherArgs.length-1;i++){FileInputFormat.addInputPath(job, new Path(otherArgs[i]));}       FileOutputFormat.setOutputPath(job, new Path(otherArgs[otherArgs.length-1]));       System.exit(job.waitForCompletion(true)?0:1);}public static class Map extends Mapper<Object,Text,Text,Text>{private Text text = new Text();  private Text keys = new Text();private int no = 0;public Map(){}public void map(Object key,Text value,Context context)throws IOException,InterruptedException{String line = value.toString();this.no +=1;          System.out.println(this.no+line);          String[] lines = line.split("\\s+");for(int i =0;i<lines.length;i++){System.out.print(lines[i]+" ~~");}if(this.no == 1){this.keys.set("股票编码："+lines[0]);           }if(this.no > 2){if(lines.length == 7){this.text.set(lines[0]+"+"+lines[1]+"+"+lines[4]); System.out.println(this.no+"---->"+lines[0]+"+"+lines[1]+"+"+lines[4]);context.write(this.keys, this.text);}              }       }}public static class Reduce extends Reducer<Text,Text,Text,Text>{        private Text text = new Text();        public void reduce(Text key,Iterable<Text> values,Context context) throws IOException, InterruptedException{double sum1 = 0.0;double sum2 = 0.0;int n = 0;             System.out.println("...................start"+key.toString());Iterator<Text> $it = values.iterator();while($it.hasNext()){                    String record =$it.next().toString();System.out.println(n);                    System.out.println("原始数据："+record);n++;                 System.out.println("第"+n+"次循环");String []result = record.split("[+]");System.out.println(Double.valueOf(result[1])+" "+Double.valueOf(result[2]));sum1 +=(Double.valueOf(result[1])*100);                   sum2 +=(Double.valueOf(result[2])*100);                   System.out.println(sum1/100+" "+sum2/100);                  }System.out.println("最后的结果："+sum1/100+" "+sum2/100);double openPrise = sum1/(100*n);double closePrise = sum2/(100*n);openPrise = (double)Math.round(openPrise*100)/100;closePrise = (double)Math.round(closePrise*100)/100;System.out.println("平均值："+openPrise+" "+closePrise);Double.toString(closePrise);String result ="开盘平均价："+Double.toString(openPrise)+",   收盘平均价："+Double.toString(closePrise);this.text.set(result);context.write(key, this.text);}}}

4.程序运行，统计的最终显示结果

关于大数据统计大量股票开盘平均价和收盘价的简单程序程序相关推荐

大数据统计大量股票开盘平均价和收盘平均价
大数据统计大量股票开盘和收盘的平均价一.需要统计的文件: 二.单个文件内容: 三.程序: 程序来自小奶狗的博客连接为:https://blog.csdn.net/pengyangyan/artic ...
Axure高保真移动端智能数据监控+用户画像+饼状图+条形图+折线图数据统计+抖音直播app用户数据统计+智慧移动端主播粉丝、评论、播放量大数据统计+套餐购买、续费套餐prd流程
作品介绍:Axure高保真移动端智能数据监控+用户画像+饼状图+条形图+折线图数据统计+直播app用户数据统计+智慧移动端主播粉丝.评论.播放量大数据统计+套餐购买.续费套餐prd流程原型演示及下载 ...
web端业务数据管理平台+Axure运营数据管理平台+月度数据统计分析+年度排行榜数据统计页面分析+运营大数据统计管理后台+用户信息管理+Axure通用web端高保真交互业务数据管理平台
作品介绍:原型内容包含:web端业务数据管理平台+Axure运营数据管理平台+月度数据统计分析+年度排行榜数据统计页面分析+运营大数据统计管理后台+用户信息管理+Axure通用web端高保真交互业务数 ...
京东手机电商大数据统计平台搭建
京东手机电商大数据统计平台搭建一.虚拟机搭建 1.下载虚拟机 2.解压虚拟机 3.VMware扫描添加虚拟机 4.虚拟机网络说明 5.虚拟机已安装软件和框架说明二.核心代码三.数据展示环境搭建 ...
图解大数据 | 应用Map-Reduce进行大数据统计@实操案例
作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-det ...
大数据统计租房市场现状（上海篇）
对某方面有统计需求的同学可以留言哟~O(∩_∩)O~!!! 数据下载时间:20170620 房间均价:为了对比1房,2房,3房哪个比较划算引入的概念.一条出租信息中,平均每个房间的价格,例如:3房的房 ...
大数据统计租房市场现状（深圳篇）
对某方面有统计需求的同学可以留言哟~O(∩_∩)O~!!! 数据下载时间:20170611 平均房间价格:为了对比1房,2房,3房哪个比较划算引入的概念.一条出租信息中,平均每个房间的价格,例如:3房 ...
大数据统计租房市场现状（北京篇）
对某方面有统计需求的同学可以留言哟~O(∩_∩)O~!!! 数据下载时间:20170615 平均房间价格:为了对比1房,2房,3房哪个比较划算引入的概念.一条出租信息中,平均每个房间的价格,例如:3房 ...
分析大数据时代的股票期货市场及其分析意义400字
在大数据时代,股票期货市场受到了更多的关注,因为人们可以利用大数据技术来更好地分析市场趋势,并做出更明智的投资决策. 对于股票期货市场来说,大数据分析可以帮助投资者更好地了解市场动态,并做出更准确的投 ...

关于大数据统计大量股票开盘平均价和收盘价的简单程序程序

1.需要统计的文件

2.单个文件的内容

3.程序内容

4.程序运行，统计的最终显示结果

关于大数据统计大量股票开盘平均价和收盘价的简单程序程序相关推荐

最新文章

热门文章