前言

如果没有使用kerberos认证的Hadoop集群直接参照官方文档就好了，但是如果使用了kerberos安全认证的，那么接下来是一个比较值得推荐的做法。

一、Kerberos认证问题

有关Kerberos认证相关的问题这里不展开讲，有需要的小伙伴可以自行百度，这里主要讲下使用datax抽数从个MySQL到Hive的kerberos认证问题处理解决办法。

二、解决方案一

1.修改Json文件

datax(mysql2hive.json)（示例）：

writer.parameter参数设置：

 "haveKerberos":true,"kerberosKeytabFilePath":"/xxx/kerberos/app_prd.keytab","defaultFS":"hdfs://nameservice1","kerberosPrincipal":"app_prd@FAYSON.COM"

2. 配置文件

代码如下（示例）：

将 core-site.xml hdfs-site.xml hive-site.xml yarn-site.xml 相关的文件，分别放置在datax/hdfsreader/src/main/resources和datax/hdfswriter/src/main/resources目录下

3. 重新编译打包

source ~/.bashrc
mvn -U clean package assembly:assembly -Dmaven.test.skip=true

三、解决方案二

这里直接将配置文件附在了json文件中更直观，不过看起来有些冗长。

{"job": {"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "xxxx","password": "xxxx","column" : ["id"                   ,"les_id"               ,"grade_id"             ,"edition_id"           ,"subject_id"           ,"course_system_first_id","course_system_second_id","course_system_third_id","course_system_four_id","custom_points"        ,"deleted"              ,"created_at"           ,"tea_id"               ,"stu_id"               ,"les_uid"              ,"updated_at"           ,"pt"],"connection": [{"jdbcUrl": ["jdbc:mysql://xxxx:3306/test?useUnicode=true&characterEncoding=utf8"],"table": ["ods_lesson_course_content_rt_df_tmp"]}]}},"writer": {"name": "hdfswriter","parameter": {"column": [{"name":"id"        , "type":"int"},{"name":"les_id"    , "type":"int"},{"name":"grade_id"  , "type":"int"},{"name":"edition_id", "type":"int"},{"name":"subject_id", "type":"int"},{"name":"course_system_first_id" , "type":"int"},{"name":"course_system_second_id", "type":"int"},{"name":"course_system_third_id" , "type":"int"},{"name":"course_system_four_id"  , "type":"int"},{"name":"custom_points", "type":"string"},{"name":"deleted"      ,"type":"TINYINT"},{"name":"created_at"   ,"type":"string"},{"name":"tea_id"       ,"type":"int"},{"name":"stu_id",       "type":"int"},{"name":"les_uid"      ,"type":"string"},{"name":"updated_at"   ,"type":"string"}],"defaultFS": "hdfs://nameservice1","hadoopConfig":{"dfs.nameservices": "nameservice1","dfs.ha.namenodes.nameservice1": "namenode286,namenode36","dfs.namenode.rpc-address.nameservice1.namenode286": "xxxx:8020","dfs.namenode.rpc-address.nameservice1.namenode36": "xxxx:8020","dfs.client.failover.proxy.provider.nameservice1": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"},"haveKerberos": "true","kerberosKeytabFilePath": "/home/xx/kerberos/xxx.keytab","kerberosPrincipal":"xxx@FAYSON.COM","encoding": "UTF-8","fileType": "orc","fileName": "ods_lesson_course_content_rt_df_orc_2","path": "/user/hive/warehouse/ods.db/ods_lesson_course_content_rt_df_orc_2/pt=2020-01-20","writeMode": "append", // append & overwrite"fieldDelimiter" :"\u0001"               }}}],"setting": {"speed": {"channel": "5"},"errorLimit": {"record": 0}}}
}

总结

这里主要提供了有关datax抽数的kerberos认证问题解决方案，但是如果Hadoop集群相关的配置文件发生了修改比如NameNode机器、端口号发生修改都需要重新打包，如果不想这么做也可以在配置文件中直接指定，在最后附上解决方案，具体使用哪一种自行决定，我们之所以决定打包到hdfs reader和writer插件中是因为不想json看起来太长，而且像集群的配置文件基本上不会做大的变动，当然如果是升级集群那就需要重新打包了，但是第二种方式就不需要。

Datax从入门到精通03--Kerberos认证问题处理相关推荐

GNS3从入门到精通
GNS3是一款优秀的具有图形化界面的模拟器.可以运行在多平台上(Windows,Linux,MacOS等). 其最大的特点就是搭建拓扑极其简单,且支持保存startup-config,供下次实验中继续 ...
ocp跟oce的区别 oracle_Oracle视频10g 11g认证视频教程 OCA/OCP 从入门到精通数据库DBA...
一.认证 Oracle OCP认证(Database 10g Administrator Certified Professional)为Oracle公司的数据库专家的认证.拥有OCP认证说明你拥有了 ...
视频教程-华为HCNP网络工程师【从入门到精通】自学视频[肖哥] ¥499-华为认证
华为HCNP网络工程师[从入门到精通]自学视频[肖哥] ¥499 肖老师(肖哥),思科认证讲师讲师(CCIE#27529),RedHat Linux认证讲师讲师,Juniper 认证讲师讲师,微软认证 ...
Kali Linux 从入门到精通(十一)–提权
Kali Linux 从入门到精通(十一)–提权本地提权已实现本地低权限账号登录远程溢出直接获得账号密码希望获取更高权限实现对目标进一步控制系统之间权限隔离操作系统安全的基础用户空间 ...
Iaas-openstack从入门到精通
学习课程连接: openstack从入门到精通第二章 openstack核心组件详细介绍 2-1openstack和kubernetes联系和区别 2-2准备安装openstack需要实验环境虚拟 ...
Docker 从入门到精通（0基础也能看懂的教程）
今天给大家分享一篇小白也能看懂的Docker入门到精通学习教程,篇幅较长,但内容很干,值得认真看完! 1 容器简介 1.1 什么是 Linux 容器 1.2 容器不就是虚拟化吗 1.3 容器发展简史 ...
SpringCloud Alibaba 从入门到精通（精选）
SpringCloud Alibaba 从入门到精通一. 课程介绍 1.1 课程导学 1.2 项目环境搭建二. SpringBoot基础 2.1 本章概述 2.2 Spring Boot是什么?能 ...
SpringCloud从入门到精通教程/SpringCloud Alibaba从入门到精通教程
对于SpringCloud,很多小伙伴问到了我的研究学习资料来源,除官方文档外,特例完整整理一下自己的平时参考学习其他资料,以及分享实战项目源码和代码资源,供大家参考学习主要教程:SpringClo ...
Spring Boot从入门到精通（超详细）
Spring Boot从入门到精通(超详细) _kayden_ 2020-07-20 15:19:22 9491 正在上传-重新上传取消收藏 184 分类专栏: springboot 文章标签: ...

Datax从入门到精通03--Kerberos认证问题处理

文章目录

前言