查询大数据各组件版本

查看hadoop版本，hadoop version:

hdfs根据时间排序来查看文件：
hdfs dfs -ls /tmp |sort -r -k6,7

查看hive版本，hive：

查看hive进程：
ps -aux|grep hive
或者
netstat -lnp|grep 9083
netstat -lnp|grep 10000
退出hive：
通过kill -9杀掉进程
启动hive：
nohup hive --service metastore >> ~/metastore.log 2>&1 &
nohup hive --service hiveserver2 >> ~/hiveserver2.log 2>&1 &
删除hive数据库报错：
ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(message:Database ei_dim is not empty. One or more tables exist.)

强制删除DROP database ei_dim cascade;：

查看spark版本，spark-shell：

查看jdk版本，java -version：

查看kafka版本：

hadoop 3.0版本：yarn动态调整优先级
yarn application -appId application_1643078379487_0002 -updatePriority 66

查询大数据各组件版本相关推荐

spark 动态预加载数据_热门大数据引擎/组件概要
热门大数据引擎/组件概要 TeraData 老牌数仓公司,已经上市十几年,数仓领导者地位(from Gartner),目前在向云端发力.主要提供一体机,MPP架构,运行稳定,之前工行用的是TD的系统, ...
大数据各组件安装（数据中台搭建）
文章目录一.基础环境配置(三台机器都操作) 1.修改主机名: 2.关闭防火墙: 3.关闭Selinux: 4.文件描述符配置: 5.关闭 THP: 6.自定义 JDK 安装: 6.1 删除默认ope ...
【大数据入门笔记系列】第一节大数据常用组件
[大数据入门笔记系列]第一节大数据常用组件大数据释义大数据组件跳转大数据释义近些年来,坊间一直流传着这样的言论:"大数据时代,人人都在裸奔".对于外行人来说,对于&qu ...
使用 AntV S2 打造大数据表格组件
导读在蚂蚁的大数据研发平台中,数据表格是一类重要的业务组件.我们需要流畅的展示 SQL 查询出来的上万条结果,并对结果做筛选.排序.搜索.复制.框选.聚合分析等操作.同时也存在数据手工录入的场景,需 ...
如何基于java代理对大数据缓存组件返回的数据进行脱敏和阻断
如何基于java代理对大数据缓存组件返回的数据进行脱敏和阻断背景架构拓扑图实现方式对比 UDF方案优点: 缺点: 改写返回结果方案优点: 缺点: 说明实现默认处理方式 redis报文解析 ...
【Hadoop大数据平台组件搭建系列（一）】——Zookeeper组件配置
简介本篇介绍Hadoop大数据平台组件中的Zookeeper组件的搭建使用软件版本信息 zookeeper-3.4.14.tar.gz Zookeeper安装解压Zookeeper安装包至目标目 ...
大数据常用组件官网地址
大数据常用组件官网地址数据采集传输 Flume 官网:https://flume.apache.org/ 下载地址:https://flume.apache.org/download.html Ka ...
php查询mysql表里的数据_PHP/MYSQL 查询大数据/遍历表
PHP:PHP 5.3.6 (cli) (built: Jun 15 2011 16:29:50) MYSQL:5.1.51 如果我们有的一张表有几百万或几千万的记录,我们要使用 PHP 将所有的记录 ...
SpringBoot+MongoDB查询大数据字段优化
记录一下 SpringBoot+MongoDB查询大数据字段,查询的单个字段或者总查询结果量太大用 mongoTemplate.find(query, NewSnapshot.class, coll ...
大数据生态系统组件基础学习
这是学习大数据这一整套各种组件MySQL,hive,spark,mapreduce等等的一些基础语法,日常更新,有不对的地方欢迎指正,资料也是自己收集来的,若有侵权,联系我立马删. MySQL (一) ...

查询大数据各组件版本

查询大数据各组件版本相关推荐

最新文章

热门文章