HIVE数据导入MYSQL实现方式

*以下内容均转自其他CSDN博主的优秀内容

一、PYTHON脚本导数

import os
import pymysqlhive_sql = """
beeline -u jdbc:hive2://10.5.145.113:10000 -n 用户名 -p 密码 --showHeader=false --outputformat=csv2  -e "
SELECT * from table名;
"
"""result = os.popen(hive_sql)
values = [x[:-1].split(',') for x in result]db = pymysql.connect('IP地址', '用户名', '密码', '库名')cursor = db.cursor()    #创建一个游标对象mysql_sql = "insert into 库名.表名(col2, col2, col3, col4) values {}".format(
",".join('("{}", "{}", {}, "{}")'.format(x[0], x[1],x[2],x[3]) for x in values) )
cursor.execute(mysql_sql)
db.commit()res = cursor.fetchall()
print(res)
db.close()

二、SHELL脚本导数

#1、hive执行查询把数据保存到本地的文件中
hive_sql="SELECT * from table1 "hive -i $base/init.sql -e "$hive_sql" > $base/date.data
# - i 引入hive查询参数的设置，map、reduce的个数，数据库的选择等；
# - e 执行写好的select查询#2、把从hive中查询出来的数据导入到MySQL中(按照天先删除后添加)，需要注意双引号别漏了
mysql -h127.0.0.1 -P3306 -uroot -p111111 -Dtest -e "
set names utf8;
delete from detail  where date=$date;
load data local infile '$base/date.data' into table detail
fields escaped by '' (date,field1,,field2);
"#3、校验数据以及插入倒数标记位
#获取导入到MySQL的数据的条数
#mysql -h127.0.0.1 -P3306 -uroot -p111111 -Dtest -e "select count(1) from detail  where #date=$date"|awk 'NR > 1{print $0}' > $base/detail_check_date.data
#一旦有数则表明数据导入成功进行数据导入标记表插入标记(通过awk提取标记位)
#flag=`awk '{if($1 > 1) {print 1} else {print 0}} ' $base/detail_check_date.data`#插入标记位
#mysql -h127.0.0.1 -P3306 -uroot -p111111 -Dtest -e "
#set names utf8;
#delete from monitor where date = $date and table_name ='detail';
#insert into monitor (date,table_name,complete_flag) values ($date,'detail',$flag)
#"
#删除临时文件
#/bin/rm -rf $base/date.data
#/bin/rm -rf $base/detail_check_date.data

HIVE数据导入MYSQL实现方式相关推荐

hive向mysql导数据_导入Hive数据导MySQL
导入Hive数据到MySQL 1. UDF 使用UDF比较方便,代码在http://svn.apache.org/repos/asf/hive/trunk/contrib/src/java/org/a ...
hive常用功能：Hive数据导入导出方式
作为数据仓库的Hive,存储着海量用户使用的数据.在平常的Hive使用过程中,难免对遇到将外部数据导入到Hive或者将Hive中的数据导出来.今天主要就来学习一下Hive的几种数据导入和导出的方式. ...
hive数据导入导出
Hive数据导入导出的几种方式一,Hive数据导入的几种方式首先列出讲述下面几种导入方式的数据和hive表. 导入: 本地文件导入到Hive表: Hive表导入到Hive表; HDFS文件导入到H ...
mysql rrd_将RRD数据库中数据导入MYSQL中
一.RRD数据库及RRDTOOL简介意为Round Robin Database.设计理念为按照round-robin的方式进行存储,在一个周期之后(可自己定义),新的数据会覆盖掉原来的数据.所以R ...
Python实现Excel数据导入MySQL
前言近年来,数据分析正在改变我们的工作方式,数据分析的相关工作也越来越受到人们的青睐.很多编程语言都可以做数据分析,比如Python.B.Matlab等,Python凭借着自身无可比拟的优势,被广泛 ...
Spark读取Hive数据的两种方式与保存数据到HDFS
Spark读取Hive数据的两种方式与保存数据到HDFS Spark读取Hive数据的方式主要有两种 1. 通过访问hive metastore的方式,这种方式通过访问hive的metastore元数 ...
hive数据导入hbase
将hive数据导入hbase 一.hive外部表映射hbase表 1. hbase里面创建表 2. 建立hive外部表并映射hbase表 3.测试二.spark bulkload方式 1.准备事项 ...
python数据导入mysql
在通过python将数据导入mysql时有如下步骤: 1.首先python连接mysql:导入pymysql模块,创建连接(pymysql.connect(host="服务器地址" ...
mysql两条记录合成一条数据_踩坑记录之csv数据导入MySQL
可能采坑的操作将excel表格转换成csv 逗号分隔,然后notepad检查文件是否是utf8编码,保存. 打开 phpMyAdmin , 选择要导入的表格,然后点击导入: 导入设置点击执行之后, ...
使用MapReduce将HDFS数据导入Mysql
使用MapReduce将Mysql数据导入HDFS代码链接将HDFS数据导入Mysql,代码示例 package com.zhen.mysqlToHDFS;import java.io.DataIn ...

HIVE数据导入MYSQL实现方式

HIVE数据导入MYSQL实现方式相关推荐

最新文章

热门文章