记sqoop导入hive时的一次报错

Cannot inspect org.apache.hadoop.io.IntWritable
脚本如下：


#sqoop安装路径
SQOOP_HOME=/opt/apps/sqoop-1.4.7#mysql连接
MYSQL_CONNECT=jdbc:mysql://hadoop:3306/biz?useSSL=false
MYSQL_USERNAME=root
MYSQL_PASSWORD=123456##定义一个日期，如果指定了日期就导入该日期前一天的数据，如果没有指定就导入昨天的数据
exec_date=$1
if [ ${exec_date} ];thenexec_date=`date -d "${exec_date} a days ago" +"%Y%m%d"`
elseexec_date=`date -d "a days ago"  +"%Y%m%d"`
fi
echo ${exec_date}
SQL_DATE=`date -d "${exec_date}" +"%Y-%m-%d"`
echo ${SQL_DATE}
#meta
${SQOOP_HOME}/bin/sqoop import \
--connect ${MYSQL_CONNECT}  \
--username ${MYSQL_USERNAME}  \
--password ${MYSQL_PASSWORD}  \
--query  "SELECT id,field,field_type,field_desc,app_version,status,date_format(create_time,'%Y-%m-%d %H:%i:%s') as create_time from meta  where 1=1 and create_time <='${SQL_DATE}' and \$CONDITIONS"  \
--as-parquetfile  \
--target-dir /sources/news-biz/biz/meta/${exec_date}  \
--delete-target-dir  \
--split-by id \
--m  2

Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.IntWritable

修改sql如下，错误解决

SELECT id,field,field_type,field_desc,app_version,cast(status as char(50)) as status,date_format(create_time,'%Y-%m-%d %H:%i:%s') as create_time from meta  where 1=1 and create_time <='${SQL_DATE}' and \$CONDITIONS"

记sqoop导入hive时的一次报错相关推荐

python导入类有红线_python踩坑系列之导入包时下划红线及报错“No module named”问题...
python踩坑系列之导入包时下划红线及报错"No module named"问题使用pycharm编写Python时,自己写了一个包(commontool),在同级另一个路径下 ...
python代码下出现红线_python踩坑系列之导入包时下划红线及报错“No module named”问题...
python踩坑系列之导入包时下划红线及报错"No module named"问题使用pycharm编写Python时,自己写了一个包(commontool),在同级另一个路径下 ...
sqoop导出hive分区表字段到mysql报错：Can‘t parse input data: ‘0‘
目的: 为了保留ads(应用层)的历史数据,所以把ads层的表建成了带分区的表. 带来的问题: sqoop导出不带分区字段的列,可以正常导出: sqoop导出带分区字段的列,就报错如下: Can't ...
sqoop导入hive时间格式问题解决方案
sqoop导入hive时间格式问题解决方案从mysql导入数据时,发现时间格式有问题,要么是时间后面多一位零,要么要使用时间戳,还能不能好好玩耍了?! 于是,我就逛论坛,找大神,最终无果,也许这个问 ...
Sqoop导入hive中null是空字符串还是‘null‘的问题（关注）
Sqoop导入hive中null字符串处理为NULL 其中注意这个是转为空字符串而不是'null'这种. 可以用ifnull转化的这种就是'null'
安装TensorRT，然后导入uff库包的时候报错：ImportError: ERROR: Failed to import module（cannot import name ‘GraphDef`）
欢迎大家关注笔者,你的关注是我持续更博的最大动力原创文章,转载告知,盗版必究安装TensorRT,然后导入uff库包的时候报错:ImportError: ERROR: Failed to impo ...
配置struts.xml时extends=struts-default会报错,原因和解决
提示:此种解决方法只适用于Intellij IDEA,MyEclipse或者Eclipse还得另寻它法,但估计原因应该是类似的. 在Intellij IDEA 2017使用Struts2框架时,若新建 ...
Pycharm如何导入python文件，及出现报错解决办法
导入及解决报错导入py文件解决报错问题 https://blog.csdn.net/hanhanwanghaha宝藏女孩欢迎您的关注! 欢迎关注微信公众号:宝藏女孩的成长日记让这个可爱的宝藏女 ...
eclipse不报错 intelliji 报错_小白提问：导入内置包winsound不报错但没声音是什么情况？...
6月6日网友@Puyang The Process 在python论坛提问: 导入内置包winsound不报错但没声音是什么情况? 咱公众号的大佬们能帮助解答吗? 哈哈,python论坛设置了邮箱提醒 ...

记sqoop导入hive时的一次报错

记sqoop导入hive时的一次报错

记sqoop导入hive时的一次报错相关推荐

最新文章

热门文章