如何使用 datax 将 mysql 中的数据拉取到 hive ？
2024-05-18 15:36:31
需求
使用datax将mysql中的数据拉取到hive的ods层
步骤
首先在mysql中确定好需要拉取的表user_extend，
然后对应在hive中创建好空表，等待拉取
这里对应创建的hive表格如下
CREATE TABLE snbap_ods.ods_user_extend (user_id bigint ,user_gender bigint ,is_pregnant_woman tinyint ,is_have_children tinyint ,is_have_car tinyint ,phone_brand string ,phone_brand_level string ,phone_cnt int ,change_phone_cnt int ,is_maja tinyint ,majia_account_cnt int ,loyal_model string ,shopping_type_model string ,weight int ,height int
)
stored as textfile
location '/datax/mysql/snbap_ods/ods/ods_user_extend';在datax的bin目录下创建json脚本 vi datax1.json
{"job": {"setting": {"speed": {"byte":1048576,"channel":"4"}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "root","password": "root","connection": [{"querySql": ["select * from user_extend"],"jdbcUrl": ["jdbc:mysql://localhost:3306/snbap_ods"]}]}},"writer": {"name": "hdfswriter","parameter": {"defaultFS":"hdfs://192.168.1.54:9000","fileType":"text","path":"/datax/mysql/snbap_ods/ods/ods_user_extend/","fileName":"user_extend","column": [{"name":"user_id","type":"bigint"}{"name":"user_gender","type":"bigint"}{"name":"is_pregnant_woman","type":"tinyint"}{"name":"is_have_children","type":"tinyint"}{"name":"is_have_car","type":"tinyint"}{"name":"phone_brand","type":"string"}{"name":"phone_brand_level","type":"string"}{"name":"phone_cnt","type":"int"}{"name":"change_phone_cnt","type":"int"}{"name":"is_maja","type":"tinyint"}{"name":"majia_account_cnt","type":"int"}{"name":"loyal_model","type":"string"}{"name":"shopping_type_model","type":"string"}{"name":"weight","type":"int"}{"name":"height","type":"int"}],"writeMode":"append","fieldDelimiter":"\u0001","compress":"gzip"}}}]}
}
在datax的bin目录下运行以上json脚本
python /opt/install/datax/bin/datax.py /opt/install/datax/bin/datax1.json
运行成功的结果
最后在hive里查看表中数据 select * from ods_user_extend limit 10;
0: jdbc:hive2://localhost:10000> select * from ods_user_extend limit 10;
INFO : Compiling command(queryId=root_20210709120808_33f5b7c6-df56-4474-8af9-329e0549b9f2): select * from ods_user_extend limit 10
INFO : Semantic Analysis Completed
INFO : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:ods_user_extend.user_id, type:bigint, comment:null), FieldSchema(name:ods_user_extend.user_gender, type:bigint, comment:null), FieldSchema(name:ods_user_extend.is_pregnant_woman, type:tinyint, comment:null), FieldSchema(name:ods_user_extend.is_have_children, type:tinyint, comment:null), FieldSchema(name:ods_user_extend.is_have_car, type:tinyint, comment:null), FieldSchema(name:ods_user_extend.phone_brand, type:string, comment:null), FieldSchema(name:ods_user_extend.phone_brand_level, type:string, comment:null), FieldSchema(name:ods_user_extend.phone_cnt, type:int, comment:null), FieldSchema(name:ods_user_extend.change_phone_cnt, type:int, comment:null), FieldSchema(name:ods_user_extend.is_maja, type:tinyint, comment:null), FieldSchema(name:ods_user_extend.majia_account_cnt, type:int, comment:null), FieldSchema(name:ods_user_extend.loyal_model, type:string, comment:null), FieldSchema(name:ods_user_extend.shopping_type_model, type:string, comment:null), FieldSchema(name:ods_user_extend.weight, type:int, comment:null), FieldSchema(name:ods_user_extend.height, type:int, comment:null)], properties:null)
INFO : Completed compiling command(queryId=root_20210709120808_33f5b7c6-df56-4474-8af9-329e0549b9f2); Time taken: 0.067 seconds
INFO : Concurrency mode is disabled, not creating a lock manager
INFO : Executing command(queryId=root_20210709120808_33f5b7c6-df56-4474-8af9-329e0549b9f2): select * from ods_user_extend limit 10
INFO : Completed executing command(queryId=root_20210709120808_33f5b7c6-df56-4474-8af9-329e0549b9f2); Time taken: 0.0 seconds
INFO : OK
+--------------------------+------------------------------+------------------------------------+-----------------------------------+------------------------------+------------------------------+------------------------------------+----------------------------+-----------------------------------+--------------------------+------------------------------------+------------------------------+--------------------------------------+-------------------------+-------------------------+--+
| ods_user_extend.user_id | ods_user_extend.user_gender | ods_user_extend.is_pregnant_woman | ods_user_extend.is_have_children | ods_user_extend.is_have_car | ods_user_extend.phone_brand | ods_user_extend.phone_brand_level | ods_user_extend.phone_cnt | ods_user_extend.change_phone_cnt | ods_user_extend.is_maja | ods_user_extend.majia_account_cnt | ods_user_extend.loyal_model | ods_user_extend.shopping_type_model | ods_user_extend.weight | ods_user_extend.height |
+--------------------------+------------------------------+------------------------------------+-----------------------------------+------------------------------+------------------------------+------------------------------------+----------------------------+-----------------------------------+--------------------------+------------------------------------+------------------------------+--------------------------------------+-------------------------+-------------------------+--+
| 1 | 1 | 0 | 0 | 0 | 华为 | 一级 | 1 | 3 | 0 | 0 | 高度 | 理智消费用户 | 262 | 178 |
| 2 | 1 | 0 | 0 | 0 | 华为 | 一级 | 1 | 3 | 0 | 0 | 高度 | 理智消费用户 | 226 | 209 |
| 3 | 1 | 0 | 0 | 0 | 华为 | 一级 | 1 | 3 | 0 | 0 | 高度 | 理智消费用户 | 214 | 133 |
| 4 | 1 | 0 | 0 | 0 | 华为 | 一级 | 1 | 3 | 0 | 0 | 高度 | 理智消费用户 | 268 | 212 |
| 5 | 1 | 0 | 0 | 0 | 华为 | 一级 | 1 | 3 | 0 | 0 | 高度 | 理智消费用户 | 81 | 158 |
| 6 | 0 | 0 | 0 | 0 | 华为 | 一级 | 1 | 3 | 0 | 0 | 高度 | 理智消费用户 | 173 | 212 |
| 7 | 0 | 0 | 0 | 0 | 华为 | 一级 | 1 | 3 | 0 | 0 | 高度 | 理智消费用户 | 85 | 141 |
| 8 | 1 | 0 | 0 | 0 | 华为 | 一级 | 1 | 3 | 0 | 0 | 高度 | 理智消费用户 | 146 | 199 |
| 9 | 0 | 0 | 0 | 0 | 华为 | 一级 | 1 | 3 | 0 | 0 | 高度 | 理智消费用户 | 143 | 314 |
| 10 | 0 | 0 | 0 | 0 | 华为 | 一级 | 1 | 3 | 0 | 0 | 高度 | 理智消费用户 | 208 | 209 |
+--------------------------+------------------------------+------------------------------------+-----------------------------------+------------------------------+------------------------------+------------------------------------+----------------------------+-----------------------------------+--------------------------+------------------------------------+------------------------------+--------------------------------------+-------------------------+-------------------------+--+
10 rows selected (0.115 seconds)
0: jdbc:hive2://localhost:10000>如何使用 datax 将 mysql 中的数据拉取到 hive ？相关推荐
- 使用DataX将mysql中做数据导出时 提示 java.sql.SQLException: Could not retrieve transation read-only status server
原因是我的数据库是8.0以上版本,但是datax本身提供的jar包是5.1版本,将datax/plugins目录下的reader/writer中的mysqlreader/mysqlwriter的lib ...
- android json mysql_Android通过json向MySQL中读写数据的方法详解【写入篇】
本文实例讲述了Android通过json向MySQL中写入数据的方法.,具体如下: 先说一下如何通过json将Android程序中的数据上传到MySQL中: 首先定义一个类JSONParser.Jav ...
- 利用Ajax实现数据的同步传输，从mysql中提取数据，通过echarts可视化
如何将mysql数据库中的方式通过echarts可视化呢,以下面这个简单的例子向大家进行演示: 步骤一:mysql的创表和插入数据,当然这些数据也可以是你通过爬虫抓取的. 步骤二: 创 ...
- python向数据库写入数据_如何用Python向Mysql中插入数据
我们使用Python经常会和Postgresql进行搭配,很少将python和mysql进行搭配.下面小编给大家分享如何用Python向Mysql中插入数据. 工具/原料 Pycharm 方法/步骤 ...
- android json mysql_Android通过json向MySQL中读写数据的方法详解【读取篇】
本文实例讲述了Android通过json向MySQL中读取数据的方法.分享给大家供大家参考,具体如下: 首先 要定义几个解析json的方法parseJsonMulti,代码如下: private vo ...
- 使用logstash将Mysql中的数据导入到ElasticSearch中（详细步骤，win_Elasticsearch）
在之前转载的一腾讯高级工程师<一文彻底了解Logstash>对logstach有这详细的介绍,这里我只说明一下,将mysql中的数据使用logstash导入到es中,如何操作,具体步骤见下 ...
- python 数据导入mysql_用python批量向数据库(MySQL)中导入数据
用python批量向数据库(MySQL)中导入数据 现有数十万条数据,如下的经过打乱处理过的数据进行导入 数据库内部的表格的数据格式如下与下面的表格结构相同Current database: pyth ...
- mysql中的dump,从mysql中dump数据到本地
方法一:使用mysqldump命令,如: mysqldump -h10.90.6.237 -uf_insplat2car_r -P3306 -pxxxxxxxxx nbmp tb_tag_log -- ...
- MySQL_(Java)分页查询MySQL中的数据
MySQL_(Java)使用JDBC向数据库发起查询请求 传送门 MySQL_(Java)使用JDBC创建用户名和密码校验查询方法 传送门 MySQL_(Java)使用preparestatement ...
最新文章
- Java扫描配置文件的注解_详解Spring框架注解扫描开启之配置细节
- 我用Transformer修复代码bug
- 18_Android中Service的生命周期，远程服务，绑定远程服务，aidl服务调用，综合服务案例，编写一个应用程序调用远程支付宝远程服务场景
- linux c显示日期,Linux C判断日期格式是否合法
- P3515-[POI2011]Lightning Conductor【整体二分,决策单调性】
- 前端学习（1377）:express路由参数
- html调用父页面的函数,javascript – 如何从子窗口jquery调用父窗口函数？
- python字典按键值排序_在Python中按键或值按升序和降序对字典排序
- C++之指针探究(十五)：回调函数应用之qsort排序
- 假如我是一个项目总监/经理 From CSDN
- Oracle 11g数据库基础教程（第2版）-课后习题-第十二章
- python字符串怎么加绝对值_每日一练 | Python绝对值有哪些实例？
- 验证方法学的历史及比较
- 神经网络阈值是什么意思,神经网络阈值怎么设置
- 第12周项目4—点、圆的关系
- 企业为什么要建网站？
- 队列应用之热土豆传递问题Python
- 华为G700升级鸿蒙,华为g700刷recovery的方法（联通版）
- PHP项目开发全程实录 第3版pdf
- 不眠的硅谷——Just For Fun
热门文章
- python进度条设计函数_python实现进度条
- MacBooster-系统清理和优化工具Mac绿色版
- springboot自带filter实现sql防注入过滤器，可以全路径也可以自己设置过滤路径，还可以在全路径的时候选择放行某些路径不过滤。
- python 获取硬盘信息失败请谨慎操作_重装系统显示：获取硬盘信息失败，请谨慎操作...
- 服务器芯片即将填补中国空白,我国实现无线路由器芯片自研，填补了该领域的技术空白-通信/网络-与非网...
- 傀儡乎？黑马乎？Uber 新CEO确定 Kalanick回归难度加大
- 【java高性能编程基础】- 实现原子操作的多种方式
- ideaiu初始化设置
- 一键空中“画”窗户！MIT和IBM联合发布“GAN 绘画工作室”
- [转]关于引擎优化的相关资料