经过这二十天的努力，课程设计也要告一段落了，在这二十天里，我遇到了许多问题，有的通过自己思考解决，有的通过同学们的帮助解决，有的在网上寻找到了答案。在这个发现问题到解决问题的过程中，我收获了很多，也有很多心得体会。

（1）在清洗数据并导入数据库中我就遇到了无法将数据导入数据库的问题，每次运行程序总是插入0行记录，出现java.lang.ClassNotFoundException: com.mysql.cj.jdbc.Driver错误，然后我通过百度查到这个错误是缺少了一个jar包导致，我将相应的jar包导入eclipse中，最终解决了这个问题。

（2）我在csv文件导出时出现The MySQL server is running with the --secure-file-priv option so it cannot execute this statement，但是我通过百度没用解决这个问题，然后我询问同学，将MySQL中my文件的路径修改正确然后重启mysql，成功解决这个问题。

除此之外，我还遇到了一些函数、类的使用上的小问题，经过仔细检查，都被一一解决。

本次课程设计让我对这学期所学知识进行了巩固和加强，学到了更多的知识，同时也提高了我发现问题、解决问题的能力。让我对java程序的编写更加熟练，能够连接数据库并通过Java程序将数据导入数据库，对hadoop的应用能力也有所提升，能够使用mapper reduce对数据进行整理。纸上得来终觉浅，绝知此事要躬行，在课堂上听老师讲课感觉自己都能够掌握，但是到了实战阶段就会发现自己有很多不足之处，很多问题都需要认真思考、或者到网上寻找答案，甚至需要请教他人。但是发现问题才能提高自己，只有将这些困难一一克服，才算是真正掌握了这些知识。

附录：源代码清单

所有的程序源代码

1.对数据进行清洗插入

package hfy;

import java.sql.*;

import java.io.*;

public class hufangyu

{

private static String driver="com.mysql.cj.jdbc.Driver";

private static String url="jdbc:mysql://localhost/hufangyu?serverTimezone=UTC";

private static String user="root";

private static String password="qazwsx";

public static void main(String[] args) throws Exception

{

String thisLine;

String[] oneline;

String[] twoline = new String[5];

String[] threeline = new String[6];

String user_id;

String describe_info;

int s = 0;

int i;

int gg =0;

try(

FileReader fr=new FileReader("D:/数据.txt");

BufferedReader bfr=new BufferedReader(fr);

)

{

while ((thisLine=bfr.readLine())!=null)

{

int g =0;

if(gg==10001)

{gg++;

continue;}

else {

if(thisLine.length()>0)

{

oneline = thisLine.split("\\, \\(|\\(\\(|'\\)\\)");

//遍历每一行

for( i = 0;i<oneline.length;i++)

{

if(oneline[i]!="") {

g++;

System.out.println(oneline[i]);

twoline = oneline[i].split("', '|, '|'\\)|', \"|\", '|', ");

for(int a =0;a<twoline.length;a++)

{

threeline[a]=twoline[a];

//System.out.println(twoline[a]);

}

user_id = threeline[0];

describe_info = threeline[2];

Connection conn=null;

PreparedStatement ps=null;

ResultSet rs=null;

String insertSql="INSERT INTO flow_data1(user_id,payment,describe_info,time)"+

"VALUES(?,?,?,?);";

if(threeline[1]!=null && threeline[2]!=null &&threeline[3]!=null &&threeline[0]!=null)

{

try

{

Class.forName(driver);

conn=DriverManager.getConnection(url,user,password);

//插入数据操作

ps=conn.prepareStatement(insertSql);

ps.setInt(1,Integer.parseInt(user_id));

ps.setFloat(2,Float.parseFloat(threeline[1]));

ps.setString(3,describe_info.replaceAll(",",""));

ps.setInt(4,Integer.parseInt(threeline[3]));

int count=ps.executeUpdate();

System.out.println("添加"+ count+"条记录到Student表中");

s++;

}//try结束

catch(Exception e)

{

e.printStackTrace();

}//catch结束

finally

{

try

{

if(rs!=null) rs.close();

if(ps!=null) ps.close();

if(conn!=null) conn.close();

}

catch(Exception e)

{

e.printStackTrace();

}

}// try catch finally 结束

}//if 结束

else

{}

System.out.println("共插入了" + s + "条记录");

}

gg=g;

System.out.println("***************************************" + g);

}//whlie语句结束

}

//System.out.println(count1);

}

2．导出到CSV文件

package hfy;

import java.sql.*;

import java.io.*;

public class hufangyu1

{

private static String driver="com.mysql.cj.jdbc.Driver";

private static String url="jdbc:mysql://localhost/hufangyu?serverTimezone=UTC";

private static String user="root";

private static String password="qazwsx";

public static void main(String[] args) throws Exception

{

Connection conn=null;

PreparedStatement ps=null;

ResultSet rs=null;

try {

Class.forName(driver);

conn=DriverManager.getConnection(url,user,password);

ps=conn.prepareStatement(insertSql);

rs=ps.executeQuery(insertSql);

}//try结束

catch(Exception e)

{

e.printStackTrace();

}//catch结束

finally

{

try

{

if(rs!=null) rs.close();

if(ps!=null) ps.close();

if(conn!=null) conn.close();

}

catch(Exception e)

{

e.printStackTrace();

}

MapReduce主类

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordMain {

public static void main(String[] args) throws Exception {

// 创建一个job和任务入口

Job job = Job.getInstance(new Configuration());

job.setJarByClass(WordMain.class); //main方法所在的class

//指定job的mapper和输出的类型<k2 v2>

job.setMapperClass(WordMapper.class);

job.setMapOutputKeyClass(Text.class); //k2的类型

job.setMapOutputValueClass(LongWritable.class); //v2的类型

//指定job的reducer和输出的类型<k4 v4>

job.setReducerClass(WordReducer.class);

job.setOutputKeyClass(Text.class); //k4的类型

job.setOutputValueClass(LongWritable.class); //v4的类型

//指定job的输入和输出

FileInputFormat.setInputPaths(job, new Path(args[0]));

FileOutputFormat.setOutputPath(job, new Path(args[1]));

//执行job

job.waitForCompletion(true);

}

MapReduce reduceer类

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

public class WordReducer extends Reducer<Text, LongWritable, Text, LongWritable> {

@Override

protected void reduce(Text k3, Iterable<LongWritable> v3, Context context) throws IOException, InterruptedException {

//K3,V3 -> <”hello”,<1,1,1,1,1,1>>

// TODO Auto-generated method stub

long count = 0;

for(LongWritable l : v3) {

count += l.get();

}

context.write(k3, new LongWritable(count));

}

MapReduce 每个顾客的消费额mapper类

package 每个顾客的消费记录;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

public class WordMapper extends Mapper<LongWritable, Text, Text, LongWritable> {

String[] s ;

@Override

protected void map(LongWritable key, Text value, Context context)

throws IOException, InterruptedException {

s = value.toString().split(",");

for(int i =0;i<s.length;i++) {

//for(String s : value.toString().split(",")) {

int payment = Integer.parseInt(s[1]);

context.write(new Text(s[0]), new LongWritable(payment));

}

// hello,hello

}

MapReduce 每个顾客每一年的的消费额mapper类

package 每个顾客每年的消费记录;

import java.io.IOException;

import java.util.Arrays;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

public class WordMapper extends Mapper<LongWritable, Text, Text, LongWritable> {

String[] s ;

String[] iy = new String[2];

@Override

protected void map(LongWritable key, Text value, Context context)

throws IOException, InterruptedException {

s = value.toString().split(",");

for(int i =0;i<s.length;i++) {

//for(String s : value.toString().split(",")) {

int payment = Integer.parseInt(s[1]);

iy[0]=s[0];

iy[1]=s[s.length-1].split("/")[0];

context.write(new Text(Arrays.toString(iy)), new LongWritable(payment));

}

// hello,hello

}

MapReduce 总消费构成mapper类

package 总消费构成;

import java.io.IOException;

import java.util.Arrays;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

public class WordMapper extends Mapper<LongWritable, Text, Text, LongWritable> {

@Override

protected void map(LongWritable key, Text value, Context context)

throws IOException, InterruptedException {

String[] liebiao = {"充值","支付宝","消费","网银","美团","还款"};

String line = new String(value.getBytes(),0,value.getLength(),"GBK");

String data =line.toString();

String[] s = data.split(",");

for(int i =0;i<liebiao.length;i++)

{

if(s[2].contains(liebiao[i]))

{

String k2 = liebiao[i];

context.write(new Text(k2),new LongWritable(Long.parseLong(s[1])));

}

//}

}

// hello,hello

}

MapReduce 每一年的消费构成mapper类

package 每一年的消费构成;

import java.io.IOException;

import java.util.Arrays;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

public class WordMapper extends Mapper<LongWritable, Text, Text, LongWritable> {

String[] dy = new String[2];

@Override

protected void map(LongWritable key, Text value, Context context)

throws IOException, InterruptedException {

String[] liebiao = {"充值","支付宝","消费","网银","美团","还款"};

String line = new String(value.getBytes(),0,value.getLength(),"GBK");

String data =line.toString();

String[] s = data.split(",");

for(int i =0;i<liebiao.length;i++)

{

if(s[2].contains(liebiao[i]))

{

String k2 = liebiao[i];

dy[0] = k2;

dy[1] = s[s.length-1].split("/")[0];

context.write(new Text(Arrays.toString(dy)),new LongWritable(Long.parseLong(s[1])));

}

//}

}

// hello,hello

}

指导教师评语

成绩

签字：

年月日

程序设计训练课程设计相关推荐

“程序设计与算法训练”课程设计“二值图像数字水印技术的实践”
数据结果课程设计(题目抄袭自某牛逼985高校). github项目地址(含报告等) 课程编号:0521733B ...
java打字训练课程设计_Java打字训练课程设计
Java打字训练课程设计软件学院课程设计报告书课程名称设计题目专业班级学号姓名指导教师年月目录1 设计时间 12 设计目的 13 设计任务 14 设计内容 14.1 需求分析 ...
java课程设计日历记事本_《Java程序设计》课程设计日历记事本.doc
<Java程序设计>课程设计日历记事本 PAGE PAGE 2 本科生课程设计课程名称 Java程序设计课程设计课程编号 j1620011 题目日历记事本学号 2008116222 ...
《C语言程序设计》课程设计实践考核说明
<C语言程序设计>课程设计实践考核说明 <C语言程序设计>课程设计实践考核说明本次设计是为加强学生的<C语言程序设计>课程的实际应用能力而进行的专门训练.选题考虑 ...
java课设推荐,《Java程序设计》课程设计报告推荐.docx
<Java程序设计>课程设计报告推荐 <Java程序设计>课程设计报告2015-2016学年第一学期设计题目整数进制转换学生姓名邹晓刚学号0专业班级信管1303指导教师姜 ...
c语言程序设计样板,《C语言程序设计》课程设计报告书样板.doc
<C语言程序设计>课程设计报告书样板电子系<C语言程序设计> 课程设计报告书题目:ATM机模拟操作程序的设计专业:__________________________ 学 ...
c语言程序设计在线课程设计,c语言程序设计本科课程设计
<c语言程序设计本科课程设计>由会员分享,可在线阅读,更多相关<c语言程序设计本科课程设计(11页珍藏版)>请在人人文库网上搜索. 1.河北农业大学本科课程设计课 ...
java人力资源管理系统设计_人力资源管理系统——《Java Web程序设计》课程设计...
内容简介: 人力资源管理系统--<Java Web程序设计>课程设计,正文共24页,7418字,附源程序. 0 引言全球范围内的企业内部组织正在发生巨变,未来企业成功的关键的依靠企业人力 ...
c语言银行卡管理系统程序设计报告,《c语言程序设计》课程设计报告-职工信息管理系统.doc...
<c语言程序设计>课程设计报告-职工信息管理系统.doc 还剩 24页未读, 继续阅读下载文档到电脑,马上远离加班熬夜! 亲,很抱歉,此页已超出免费预览范围啦! 如果喜欢就下载吧,价低环 ...

程序设计训练课程设计

目录

程序设计训练课程设计相关推荐

最新文章

热门文章