//**********************************
//安装配置
1. 修改配置文件

1.1 在conf文件夹下

touch hive-site.xml

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>

2. 拷贝mysql驱动包 至 hive/lib下

3. 修改环境变量 ~/.bashrc

export HIVE_HOME=/data/apache-hive-2.3.2-bin
export HADOOP_HOME=/data/hadoop/hadoop-3.0.0
export PATH=$PATH:$HIVE_HOME/bin

注意HADOOP_HOME也是必须要设置的

4. 初始化数据库

schematool -dbType mysql -initSchema

备注:当前采用mysql作为hive的元数据库

1. 出现问题:rg.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.

解决方法进入mysql:GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root';
flush privileges;

//**********************************
//基本操作

1. 启动客户端
hive --service cli

2. 创建并使用数据库
create database testdb;
use testdb;

备注:出现错误:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
原因未出生化数据库

3. 创建一张表

create table users(username string, password string, age int) row format delimited fields terminated by ",";

4. 插入数据

4.1 创建一个数据note.txt

'fred','fred', 30
'sinny', 'sinny', 29

4.2 执行load命令
load data local inpath "/data/data/note.txt" into table users;

遇到问题:
1. There are 0 datanode(s) running and no node(s) are excluded in this operation.
hadoop datanode未启动

解决方案:删除/tmp下hadoop相关文件;删除/usr/local/hadoop/tmp文件 重启

2. 提示hadoop处于安全模式

./hdfs dfsadmin -safemode leave #无用

bin/hadoop fsck / #无用

在hdfs-site.xml中设置安全阀值属性,属性值默认为0.999f,如果设为1则不进行安全检查 # 可以

5. 查询命令

select * from users;

转载于:https://www.cnblogs.com/Fredric-2013/p/8719646.html

hadoop 笔记(hive)相关推荐

  1. Hadoop笔记——技术点汇总

    Hadoop笔记--技术点汇总 目录 · 概况 · Hadoop · 云计算 · 大数据 · 数据挖掘 · 手工搭建集群 · 引言 · 配置机器名 · 调整时间 · 创建用户 · 安装JDK · 配置 ...

  2. Hadoop生态圈-hive五种数据格式比较

    Hadoop生态圈-hive五种数据格式比较 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.

  3. Hadoop生态圈-hive编写自定义函数

    Hadoop生态圈-hive编写自定义函数 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.

  4. hadoop + spark+ hive 集群搭建(apache版本)

    0. 引言 hadoop 集群,初学者顺利将它搭起来,肯定要经过很多的坑.经过一个星期的折腾,我总算将集群正常跑起来了,所以,想将集群搭建的过程整理记录,分享出来,让大家作一个参考. 由于搭建过程比较 ...

  5. Hadoop生态圈-Hive的自定义函数之UDF(User-Defined-Function)

    Hadoop生态圈-Hive的自定义函数之UDF(User-Defined-Function) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 转载于:https://www.cnb ...

  6. Hive学习笔记 —— Hive的安装

    1. Hive的安装模式 官网下载安装包:http://hive.apache.org/ 历史版本下载:http://archive.apache.org/ 本次使用:http://archive.a ...

  7. ambari hive mysql_ambari方式安装hadoop的hive组件遇到的问题

    最近在部署hadoop,我发现了ambari工具部署hadoop的hive 组件的一个问题,不知道其他人遇到过没有. 问题描述:通过ambari工具搭建了hadoop2.0完全分布式集群.在测试hiv ...

  8. 通俗易懂讲解RPC、SpringCloud、Dubbo、Zookeeper、Hadoop、hive等概念的区别

    文章目录 1. RPC 2. Hadoop 3. hive 4. SpringCloud和Dubbo 5. Zookeeper 6. 总结 1. RPC RPC是一个远程调用的技术方式,其可以通过HT ...

  9. [转]大数据环境搭建步骤详解(Hadoop,Hive,Zookeeper,Kafka,Flume,Hbase,Spark等安装与配置)

    大数据环境安装和配置(Hadoop2.7.7,Hive2.3.4,Zookeeper3.4.10,Kafka2.1.0,Flume1.8.0,Hbase2.1.1,Spark2.4.0等) 系统说明 ...

  10. hadooppythonsql_半小时搞定Hadoop+Mysql+Hive+Python

    1. 说明 搭建过Hadoop集群的小伙伴一定知道,如果不用docker,半小时配好Hadoop+Mysql+Hive(后简称Hive)肯定是胡吹,有了Docker镜像,没有说明文档,配好了也不一定会 ...

最新文章

  1. 捋一下测序后生信分析内容及其常用软件
  2. 为何计算机科学领域的女性不多?
  3. mybaits八:select查询返回map集合
  4. 栈----生产者消费者实例
  5. Tomcat服务OTA发布J2ME应用(eclipse开发环境)
  6. hashmap 判断key是否存在
  7. vue小米商城源代码_微信商城信息管理系统(java后台+小程序)
  8. java采集温湿度水浸_机房水浸传感器:智能生活不可或缺的漏水传感器
  9. 让用户感到体贴登录页设计灵感
  10. java的字符_Java中的字符
  11. matlab改进遗传算法求解带时间窗的路径优化问题
  12. MATLAB实现imrotate函数
  13. 大学电子竞赛及项目~总贴
  14. 数据库锁的分类(粒度,级别)
  15. 水果店做生意不好怎么办,水果店生意不好如何做好
  16. 关于Ultraiso无法写入硬盘映像的相关解决办法
  17. java常问面试题总结
  18. win10使用电池时关闭自动调节亮度
  19. 西弗勒斯·斯内普 ---混血王子
  20. HTML/设置网页背景图片+背景透明度设置

热门文章

  1. JVM系列四:生产环境参数实例及分析【生产环境实例增加中】
  2. C/C++怎样传递二维数组,转载自CSDN
  3. SVN missing 解决
  4. listView中的button控件获取索引
  5. 扩展方法/对象与集合初始化器
  6. 上海人工智能实验室招聘NLP研究员和工程师啦,是事业单位呦~
  7. 长文详解Attention、Seq2Seq与交互式匹配
  8. 【数学基础】特征值,特征向量与SVD奇异值分解
  9. 干货 | 140页《深度强化学习入门》
  10. 先有产品管理,后有产品经理