Transwarp Inceptor 问题记录与解决

存储过程中查不到system模式下的表数据(NO_DATA_FOUND)

set ngmr.dd.local.mode.auto=false;
# 系统表实际上是mysql表的视图，默认为local模式应该会更快捷一点。但是应该有地方配置错误，所以需要关闭local模式，但是会牺牲一点查询性能

不能Rename表

set inceptor.torc.allow.rename=true;
# 星环给的解释是：rename表可能会导致丢数据，所以把该功能禁用了，需要手动打开

不能truncate表(truncate 表时报错)

Error: EXECUTION FAILED: Task DDL error HiveException: [Error 40000] Exception while processing (state=08S01,code=40000)

# 这种情况是因为我们从仓库1复制到仓库2时，所有仓库1表的元数据都同步到了仓库2，但是有些表数据并没有同步（比如tmp表，ifc表等），所以表的hdfs路径不存在，在truncate时会报该错误。解决办法就是，随便插入一条数据后再truncate即可。比如：
insert into ifc.table(data_date) values('test');

varchar及varchar2字段类型必须设定字段长度，否则会报该错误

Error: COMPILE FAILED: Semantic error: [Error 20594] Zero-length varchar2 column is not allowed (state=42000,code=20594)

varchar or varchar2 to varchar(8) or varchar2(8)
#加上字段长度就好啦。这个应该是星环加强了某些限制。

动态分区删数据问题

delete from table_t partition(day_code) where day_code = vs_run_date and xx_flag = 1;

必须要指定分区字段，也即加上partition(day_code)；
必须开启参数：set hive.crud.dynamic.partition=true;

动态分区自动增分区问题

insert into table_t partition(day_code) values('1',1,'20210101');

必须要指定分区字段，也即加上partition(day_code)；
必须开启参数：set hive.exec.dynamic.partition=true;

开启kerberos后，用户查表报权限问题

Error: COMPILE FAILED: Internal error HiveAccessControlException: [Error 20388] Permission denied: Principal [name=xxxxx, type=USER] does not have following privileges for operation SHOW_CREATETABLE [[SELECT with grant] on Object [type=TABLE_OR_VIEW, name=xxx.xxxxxxxxx]] (state=42000,code=20388)

这个问题可以先尝试通过管理员账号进行赋权解决。

grant ALL on table xxx.* to user xxx;

如果还不行，说明是kerberos开启的时候，有些权限没有弄好。可以尝试修改inceptor元数据库来解决

1. 登录active namenode
2. 登录mysql
3. 列出databases
mysql> show databases;
+------------------------+
| Database               |
+------------------------+
| information_schema     |
| metastore_inceptorsql1 |
| mysql                  |
| test                   |
+------------------------+
4 rows in set (0.00 sec)4. 进入元数据库
mysql> use metastore_inceptorsql1;
Database changed

-- 查看inceptor库列表
select db_id,name from DBS;-- 查看相应表的所有人（owner）
select OWNER
from TBLS
where DB_ID = 'X'   --在上个语句查询
and tbl_name = 'Y'  --具体表名-- 如果所有者不对，问题就在这里了，可以更新所有者
update TBLS
set OWNER='xxxxx'  --登录inceptor的用户名
DB_ID = 'X'
and tbl_name = 'Y'-- 也可以直接整库更新
update TBLS set OWNER='xxxxx' where DB_ID in ('X1','X2')

-------------------------2021-05-17更----------------------------
发现有很多tos running with problems
这个问题的背景和现象是：

许可证过期，重新认证后，重启inceptor时，最后在这一步【通过TOS启动executor group1】失败。
inceptor显示为down，但实际可用，executor也都正常。
inceptor的daemon check显示unknowhost:none --被这个问题现象带到沟里去了

排查步骤：

由于服务正常，只不过管理界面显示异常。所以查了nn01节点的health check报错日志，也报了一堆unknowhost exception。跟界面的显示结果一致，好了，根据经验，查/etc/hosts，查/etc/resolv.conf，查hostname，但都没问题。。。还查了防火墙，但都没问题
然后在inceptor启动步骤里，分析日志，看到如下信息（其实看了很多次，不知道也没注意这个问题，直到反复排查了第1个问题n次后，才关注到这个日志）。由此日志，我感觉应该是这一步会在k8s的虚拟dns中注入host信息，所以上面那一步报错其实问题还在这里

tos registry hostname in Service(10,Some(1),INCEPTOR,None,transwarp-6.0.2-final,INSTALLED,inceptor1,Inceptor1,KUBERNETES,true,true,false,false) 's dependencies is xxxxx
generated inceptor-executor1.yaml on [Manager]

在8180的tos界面看到很多tos不健康（Running with problems），之前出其他问题跟星环运维沟通过，他们有时候会问tos是否正常。所以我感觉也有可能是这些tos的问题。换思路，先搞定这些tos问题再看inceptor
但是tos日志没找到，最后在星环论坛上找到一篇文章，里面有说修改配置后，重启tos的操作。那我就不修改配置，重启下某个主机的tos，神奇的是这个主机的tos好了，接着把其他有问题的节点都重启，tos都健康后，inceptor自己就好了

# 这个实际不是重启tos，好像重启或重置某些k8s相关的服务
systemctl daemon-reload && systemctl restart kubelet && systemctl restart haproxy

奇怪的知识又增加了。不过也说明自己对当下火热的k8s一窍不通，有时间有机会要去学习下。

Transwarp Inceptor 问题记录与解决相关推荐

Transwarp Inceptor介绍
Transwarp Inceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件,它基于Hadoop和Spark技术平台打造,加上自主开发的创新功能组件,有效的解决了企业级大数据数据处理和 ...
【记录】解决uni-app 用nginx反向代理出现Invalid Host header问题
[记录]解决uni-app 用nginx反向代理出现Invalid Host header问题参考文章: (1)[记录]解决uni-app 用nginx反向代理出现Invalid Host head ...
php curl 不验证ssl,PHP Curl https跳过ssl证书认证报错记录及解决
PHP Curl https跳过ssl证书认证报错记录及解决 function get($url = '', $cookie = '') { $ch = curl_init(); curl_setop ...
C#调用Microsoft.DirectX.DirectSound问题记录及解决
C#调用Microsoft.DirectX.DirectSound问题记录及解决参考文章: (1)C#调用Microsoft.DirectX.DirectSound问题记录及解决 (2)https: ...
【BUG记录】解决Failure to find (pom/jar) in http://xxx.com was cached in the local repository
[BUG记录]解决Failure to find (pom/jar) in http://xxx.com was cached in the local repository ☠注意:此解决方法仅针对 ...
计算机搜索记录为什么删除不掉,删除电脑上搜索引擎记录的解决方法
现如今,网络的发展给我们的生活带来了很多的便利,让我们的生活与外界紧密联系在一起.但是也给我们带来了不少的困扰,我们的隐私安全得不到保障.特别是我们在利用浏览器搜索东西的记录,几乎是完全曝光的.因此, ...
python使用QQ发邮件成功后发件箱无记录bug解决
在python中使用smtp发送邮件,发现对方有收到,而我自己邮箱的已发送中没有看到发送记录: 解决:QQ邮箱->设置->账户->勾选SMTP送消息保存到服务器->保存更改再 ...
lol 服务器维护看不了比赛记录,LOL无法连接到比赛记录【解决方法】
LOL无法连接到比赛记录原因玩英雄联盟提示无法连接到比赛记录怎么办?其实出现这种问题大多则是因为系统服务器比赛记录出现故障所导致的问题,有时并非是玩家自身的问题,但不排除某些玩家因自身网络问题而导致 ...
【vue-seamless-scroll bug问题记录以及解决】
vue-seamless-scroll bug问题记录以及解决 vue-seamless-scroll 的使用方式,请查看网站链接: 组件官方示例. 问题1:无法自动滚动解决方案: ①排查limit ...
php fpm 日志记录,如何解决nginx下php-fpm不记录php报错日志的问题
如何解决nginx下php-fpm不记录php报错日志的问题发布时间:2020-07-28 10:17:29 来源:亿速云阅读:150 作者:Leah 本篇文章为大家展示了如何解决nginx下ph ...