java 链接mysql 产生500W数据模拟生成环境
java 插入数据到mysql 通过sqoop 导入到hive 中,kylin模拟见cube 时间和 数据膨胀率 kylin 数据插入到 HBase
Kylin
HBase 1.1.3
Hive 1.2.1
Hadoop 2.5.1
create table infoagetime(
prod_name char(10),
prod_id SMALLINT,
ods_date DATE
)
数据格式
oPmgBZxldW 75 2016-09-04
WSSAnnZrNy 57 2016-09-09
本人Java水平有限,大家自行改善,尤其是批量插入mysql语句
另工程中需要导入 mysql jar : mysql-connector-java-5.1.6.jar
V2
package com.wubaiwan.instmysql;import java.io.File;
import java.io.FileOutputStream;
import java.sql.DriverManager;
import java.util.Random;public class YiBaiWan {public static String getRandomString(int length) { // length表示生成字符串的长度String base = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ";Random random = new Random();StringBuffer sb = new StringBuffer();for (int i = 0; i < length; i++) {int number = random.nextInt(base.length());sb.append(base.charAt(number));}return sb.toString();}public static final String url = "jdbc:mysql://192.168.184.168/hive2";public static final String name = "com.mysql.jdbc.Driver";public static final String user = "root";public static final String password = "123";public static java.sql.Connection conn = null;public static java.sql.PreparedStatement pst = null;static FileOutputStream out = null;public static void main(String args[]) {try {Class.forName(name);conn = DriverManager.getConnection(url, user, password);// 获取连接conn.setAutoCommit(false);} catch (Exception e1) {// TODO Auto-generated catch blocke1.printStackTrace();} // 指定连接类型Random random = new Random();// int k = random.nextInt();// System.out.println(k);int x = 0;try {out = new FileOutputStream(new File("D:/mysql.txt"));String sql = "insert into infoagetime(prod_name,prod_id,ods_date) values(?,?,?)";// System.out.println(sql);pst = conn.prepareStatement(sql);while (x < 5000000) {// System.out.println((int)(Math.random()*100));// System.out.println(getRandomString(10) + ',' +// (int)(Math.random()*100));// String k = getRandomString(10) + ',' +// (int)(Math.random()*100 )+ ','+ "2016-09-0" +// (int)(random.nextInt(9)%9 + 1)+"\r\n" ;// System.out.println(k);// out.write(k.getBytes());pst.setString(1, getRandomString(10));pst.setInt(2, (int) (Math.random() * 100));pst.setString(3, "2016-09-0" + (int) (random.nextInt(9) % 9 + 1));pst.addBatch();if (x % 1000 == 0) {pst.executeBatch();//pst.executeUpdate(arg0)}x++;}System.out.println("Commit");pst.executeBatch();conn.commit();out.close();conn.close();pst.close();} catch (Exception e) {// TODO Auto-generated catch blocke.printStackTrace();}finally{}}}
======================================
V1 这个版本会有java memory 异常
package com.wubaiwan.instmysql;import java.io.File;
import java.io.FileOutputStream;
import java.sql.DriverManager;
import java.util.Random;public class YiBaiWan { public static String getRandomString(int length) { //length表示生成字符串的长度 String base = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"; Random random = new Random(); StringBuffer sb = new StringBuffer(); for (int i = 0; i < length; i++) { int number = random.nextInt(base.length()); sb.append(base.charAt(number)); } return sb.toString(); } public static final String url = "jdbc:mysql://192.168.184.168/hive2"; public static final String name = "com.mysql.jdbc.Driver"; public static final String user = "root"; public static final String password = "123"; public static java.sql.Connection conn = null; public static java.sql.PreparedStatement pst = null; public static void main(String args[]){ try {Class.forName(name);conn = DriverManager.getConnection(url, user, password);//获取连接 } catch (Exception e1) {// TODO Auto-generated catch blocke1.printStackTrace();}//指定连接类型 FileOutputStream out = null; Random random = new Random(); //int k = random.nextInt(); //System.out.println(k); int x = 0; try { out = new FileOutputStream(new File("D:/mysql.txt")); while(x <5000000){ //System.out.println((int)(Math.random()*100)); //System.out.println(getRandomString(10) + ',' + (int)(Math.random()*100)); //String k = getRandomString(10) + ',' + (int)(Math.random()*100 )+ ','+ "2016-09-0" + (int)(random.nextInt(9)%9 + 1)+"\r\n" ; //System.out.println(k); //out.write(k.getBytes()); String sql = "insert into infoagetime(prod_name,prod_id,ods_date) values('"+getRandomString(10)+ "',"+(int)(Math.random()*100 )+","+ "'2016-09-0" + (int)(random.nextInt(9)%9 + 1) + "')" ;//System.out.println(sql);pst = conn.prepareStatement(sql); pst.executeUpdate(); if(x%10000 == 0 ) {System.out.println("Commit");conn.commit();}x++; } out.close(); conn.close(); pst.close(); }catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } } }
转载于:https://www.cnblogs.com/TendToBigData/p/10501376.html
java 链接mysql 产生500W数据模拟生成环境相关推荐
- java链接MySQL
java链接MySQL 1.首先安装MySQL,把bin目录添加到path 环境变量 2.修改 sql 登录名为123456.update mysql.user set authentication_ ...
- mysql数据库java链接,java链接MySQL数据库方法
第一步:安装MySQL 这步我就很少说了,点击去看看怎么安装吧.html 第二步:建立数据库 安装好以后,咱们来建立一个数据库,一个表.(代码以下). //建立数据库 test: //在数据库中建立表 ...
- java Servlet mysql json ECharts图表生成实战-罗绍岗-专题视频课程
java Servlet mysql json ECharts图表生成实战-2561人已学习 课程介绍 java WEB程序图表生成柱状图表.折线图表,echarts 动态获取Mysq ...
- java链接mysql输出查询_用java做网站,java连接数据库并查询输出到页面
java web的后缀名是jsp,所以咱们要有一个jsp的开发环境,我这用的是jspStudy 自行百度.这软件是一个集成开发环境,安装启动后即可使用,集成了tomcat和mysql数据库 首先我们先 ...
- java链接mysql mvc_MVC jsp+servlet+javabean 连接Mysql数据库測试demo
首先我们应该了解什么是MVC: MVC包含三个部分 : ①View:由各种JSP页面组成. ②Controller:由各种Servlet组成,Controller就是将View和Model来进行匹配, ...
- Java 链接MySQL数据库时报的connect和denied错解决方法
2019独角兽企业重金招聘Python工程师标准>>> 一.not allowed to connect to this MySQL server错误 错误分析:可能是由于MySQL ...
- java链接mysql出问题_java连接MySQL出现问题
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 Exception in thread "main" com.mysql.jdbc.exceptions.jdbc4.MySQLNon ...
- Java链接MySQL练习题:格式化日期、性别;避免代码注入
一.查询人员名单,按序号 姓名 性格(男或女) 民族(某族) 生日(年月日)输出 import java.sql.*; import java.text.SimpleDateFormat;public ...
- java链接mysql原始方法_java连接mysql数据库的方法
看了一阵 spring 框架,不怎么好懂,最近脑子也有点不够用,于是乎来点简单的,用java连接数据库玩玩,顺便回顾一下数据库的增删改查~ 使用的是 eclipse .创建了个项目,然后网上找了篇教程 ...
最新文章
- mysql proxy 延迟严重_使用MySQL Proxy解决MySQL主从同步延迟
- 研究人员探索gaze fixation对基于运动想象的脑机接口性能的影响
- 学python找工作好找吗-前辈经历告诉你Python新手好找工作吗?初级岗位多不多
- Hierarchical Cluster 层次聚类
- python3输入的input()坑
- Scanner读取一个int数组
- 2021中国新物业服务发展白皮书
- 第五十节,面向对象基本介绍
- 使用Github Pages和Hexo搭建自己的独立博客【超级详细的小白教程】
- MySQL String Types
- c语言图片的裁剪拼接,截屏、图片裁剪、拼接
- 【HAVENT原创】使用 Spring Boot 的 AOP 自定义注解
- 异构符号网络上的情感链接预测——SHINE
- 从0基础学习Python(17)[面向对象三大特征[多态]]
- ChatGPT 免费体验来了
- 华为路由器 基本ACL配置
- 手把手入门WEB信息收集
- 改善羽毛球比赛心理有“妙招”
- 皆爱高“淑商”女子——时代新词盘点
- 企业如何落地实施研发效能度量?