数据质量管理平台 Qualitis 安装部署

环境准备（必须）：

jdk

下载 jdk 的gz包

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

解压缩

tar -zxvf jdk-8u261-linux-x64.tar.gz

配置环境变量

vim /etc/profile

export JAVA_HOME=/usr/local/java1.8

export CLASSPATH=.:$JAVA-HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

·mysql

下载安装包

https://downloads.mysql.com/archives/community/

解压

tar -zxvf mysql-5.6.40-linux-glibc2.12-x86_64.tar.gz

重命名文件夹

mv mysql-5.6.40-linux-glibc2.12-x86_64 mysql

创建mysql用户/组

groupadd mysql

useradd -g mysql mysql

创建data目录

mkdir /usr/local/mysql/data

赋权限

chown -R mysql:mysql /usr/local/mysql

chmod -R 755 /usr/local/mysql

初始化

cd /usr/local/mysql/bin

./mysqld --initialize --user=mysql --datadir=/usr/local/mysql/data --basedir=/usr/local/mysql

注意记录下初始化生成的root临时密码

修改配置

vim /etc/my.cnf

清空文件内容，复制以下内容

[mysql]
# 设置mysql客户端默认字符集
default-character-set=utf8
socket=/var/lib/mysql/mysql.sock
[mysqld]
skip-name-resolve
#设置3306端口
port=3306
socket=/var/lib/mysql/mysql.sock
# 设置mysql的安装目录
basedir=/usr/local/mysql
# 设置mysql数据库的数据的存放目录
datadir=/usr/local/mysql/data
# 允许最大连接数
max_connections=200
# 服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
lower_case_table_names=1
max_allowed_packet=16M

创建mysql配置中使用到的文件夹，并赋予mysql权限

mkdir /var/lib/mysql
mkdir /var/lib/mysql/mysql
chown -R mysql:mysql /var/lib/mysql
chown -R mysql:mysql /var/lib/mysql/mysql

添加软链接

ln -s /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql

ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql

启动mysql

service mysql start

登录mysql，修改密码(密码为步骤8生成的临时密码)

mysql -u root -p

set password for root@localhost = password('yourpass');

开放远程连接(mysql安装完成)

use mysql;

update user set user.Host='%' where user.User='root';

flush privileges;

·hadoop

下载hadoop安装包

https://archive.apache.org/dist/hadoop/common/

解压缩

tar -zxvf hadoop-2.10.1.tar.gz

创建用户组

groupadd hadoop

useradd -g hadoop hadoop

添加到环境变量

vim /etc/profile

export PATH=$PATH:/usr/local/hadoop

查看是否安装成功

hadoop version

查看链接

https://www.jb51.net/article/137194.htm

·hive

下载hive安装包

解压安装包/usr/local

添加环境变量 vim ~/.bashrc source ~/.bashrc

添加mysql驱动包到 /usr/local/hive/lib

新建mysql数据库create database hive;

create user 'hive'@'%' identified with mysql_native_password by 'jzqh_data';

grant all privileges on hive.* to 'hive'@'%';

flush privileges;

配置hive-site.xml

配置hive-env.sh

初始化mysql库 schematool -dbType mysql -initSchema （在hive的bin目录下）

启动hive hive --service hiveserver2

运行hive hive

测试 show tables;

·links

下载linkis安装包

解压安装包/usr/local/links

配置config.sh

配置db.sh

创建mysql数据库linkis

开始安装 sh bin/install.sh

启动服务 sh bin/start-all.sh

访问页面：ip:20303 即表示安装成功

Qualitis安装|部署

下载安装包

https://github.com/WeBankFinTech/Qualitis/releases

解压缩

unzip wedatasphere-qualitis-0.8.0.zip

初始化数据库

新建数据库qualitis

连接数据库

mysql -uroot -p

use qualitis

source conf/database/init.sql

修改配置文件

vim conf/application-dev.yml

启动系统

dos2unix bin/*
sh bin/start.sh

登录验证

ip:8090

用户/密码:admin/admin

数据质量管理平台 Qualitis 安装部署相关推荐

轻量级日志分析PLG平台Loki安装部署及使用(promtail+loki+Grafana)
轻量级日志分析PLG平台Loki安装部署及使用(promtail+loki+Grafana) Loki简介简介 Loki是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用 ...
时空大数据实践之GeoWave安装部署实践
2019独角兽企业重金招聘Python工程师标准>>> 时空大数据实践之GeoWave安装部署实践 GeoWave是由国家地理空间情报局(NGA)与RadiantBlue和Booz ...
达梦数据交换平台软件DMETL部署
一.DMETL介绍达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新大数据发展趋势和技术的基础上,自主研发的通用的大数据处理与集成平台. DMETL创新地将传统的ETL工 ...
持续集成篇-- SonarQube代码质量管理平台的安装
IP:192.168.4.221 环境:CentOS 6.6.JDK7.MySQL5.1 .SonarQube-4.5.4(LTS) root用户操作准备工作:已安装JDK7并配置好了环境变量 1 ...
分布式任务调度平台XXL-JOB安装部署
分布式任务调度平台XXL-JOB相关教程: 使用教程分布式任务调度平台XXL-JOB使用教程_foxofwind的博客-CSDN博客分布式任务调度平台XXL-JOB使用教程https://blog. ...
文本数据标注平台-doccano安装使用教程
doccano简介 doccano 是一个开源的文本注释工具.它为文本分类.序列标记和序列到序列任务提供注释功能.因此,可以为情感分析.命名实体识别.文本摘要等创建标记数据.只需创建一个项目,上传数据 ...
代码质量管理平台SonarQube安装使用Centos7 三 Maven处理提交至远程仓库
1:在maven set.xml中配置sonar 信息打开setting.xml配置文件,在其中加入如上代码: <profile><id>sonar</id>&l ...
eolinker接口测试平台的安装部署
1.从GitHub下载安装包: https://github.com/eolinker/CHN-EOLINKER-AMS-Lite-4.0-For-Java 使用 git clone https:// ...
产品迭代更新 | 阿列夫科技基于Linkis+DataSphere Studio的单机安装部署实战
作者:萧寒 GitHub ID :hx23840 阿列夫科技原来的技术平台是基于 Hadoop,Spark 平台搭建的,为了充分的满足业务需求,做了大量接口封装.但是随着业务发展,现有技术平台日渐满足 ...

数据质量管理平台 Qualitis 安装部署

数据质量管理平台 Qualitis 安装部署相关推荐

最新文章

热门文章