linux搭建Dbus教程

1.在上一篇虚拟机搭建好之后，需要安装一下基本配置文件：

参考文档：https://blog.csdn.net/niuxikun/article/details/107833113

2.下面开始搭建Dbus平台：在 /home/csap 路径下搭建Dbus平台

（输入pwd查看当前目录路径）

搭建Dbus需要的组件有

注意：还需要额外安装nginx

基础组建：
- zookeeper 3.4.6 （集群都装）
- kafka 0.10.0.0 （集群都装）
- storm 1.0.1 （集群都装）
- granfana 4.2.0
- logstash 5.6.1
- influxdb （需要单独安装，参考如下步骤3）
- mysql （需要单独安装，参考如下步骤2）（集群都装）
dbus相关包：
- dbus-keeper 0.5.0
- dbus-stream-main 0.5.0
- dbus-router 0.5.0
- dbus-heartbeat 0.5.0
- dbus-log-processor 0.5.0
mysql数据源所需：
- canal

JDK安装

3.在三个节点安装jdk，版本：jdk-8u121-linux-x64.tar.gz （jdk安装路径：/home/csap/jdk）

解压jdk：

tar -zxvf jdk-8u121-linux-x64.tar.gz

解压之后：

下面配置jdk路径：（修改路径：/etc/profile）

vim profile

添加如下代码：

export JAVA_HOME=/home/csap/jdk/jdk1.8.0_121export  CLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/export  PATH=$PATH:$JAVA_HOME/bin

修改完之后还要输入：

source profile

使代码生效。

结果如下：

jdk搭建完成。

修改hostname

输入：hostname （修改为Dbus1，其他两个子节点也都需要改）

输入以下代码：

hostname Dbus1

再次输入：hostname

修改成功。

修改etc/hosts文件

在etc目录下修改hosts文件：

vim hosts

添加下列代码：（三个节点都是）

192.168.193.128 Dbus1
192.168.193.129 Dbus2
192.168.193.130 Dbus3

检测：

ping Dbus2

效果如下：

三个节点配置免密登录

执行命令：（生成秘钥）

ssh-keygen  -t   rsa   -P  ''

生成的秘钥在 /root/.ssh 目录下。

输入：

ll -a

查看隐藏文件

cd .ssh

进入.ssh目录下：

查看：

ll

秘钥在id_rsa.pub里

编辑文档：

vim id_rsa.pub

把三个节点的秘钥都复制一下：

在 .ssh 目录下新建authorized_keys文件存放（三个节点的秘钥）

新建authorized_keys指令：

touch  /root/.ssh/authorized_keys

ll即可查看。

编辑：

vim authorized_keys

复制三个秘钥。

三个都弄完之后，进行测试。

第一个节点：

成功：

输入：exit 退回。

秘钥配置完毕。

安装mysql：

复制以下代码：

yum -y install wgetwget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpmrpm -ivh mysql-community-release-el7-5.noarch.rpmyum install mysql-server

查看端口号：

netstat -tnlp

开始安装：

mysql_secure_installation

进入mysql

mysql -uroot -pnxk123456

如图所示：

mysql文件位置：

数据库存储目录：/var/lib/mysql
配置文件：/etc/my.cnf

查看mysql版本：

在mysql内输入：

select version();

如图所示：

退出mysql：

exit；

如果在安装mysql的过程中报错，无法连接mysql，查看端口没有3306，

解决办法：重启mysql：

service  mysqld  restart

安装zookeeper （三个节点都需要装）

这里使用的版本：zookeeper-3.4.8

解压：

在 /home/csap/zookeeper/zookeeper-3.4.8 目录下新建 data，logs 两个文件夹

进入/home/csap/zookeeper/zookeeper-3.4.8/conf目录，把zoo_sample.cfg文件复制一份名字改成zoo.cfg。

修改zoo.cfg文件，添加内容如下

tickTime=2000initLimit=10syncLimit=5dataDir=/home/csap/zookeeper/zookeeper-3.4.8/datadataLogDir=/home/csap/zookeeper/zookeeper-3.4.8/logsclientPort=2181maxSessionTimeout=120000autopurge.snapRetainCount=2autopurge.purgeInterval=3server.1=192.168.193.128:2888:3888server.2=192.168.193.129:2888:3888server.3=192.168.193.130:2888:3888

分别在三台主机的 /home/csap/zookeeper/zookeeper-3.4.8/data 目录下新建myid文件

如图：

分别写入0、1、2

将配置好的zookeeper复制到另外两台服务器上。（把整个zookeeper文件复制粘贴到另外两个节点服务器下）

scp -r /home/csap/zookeeper/ root@192.168.193.129:/home/csapscp -r /home/csap/soft/zookeeper/ csap@172.22.244.14:/home/csap/soft

记得修改另外两台虚拟机的myid

在 /home/csap/zookeeper/zookeeper-3.4.8/bin 目录下启动：

启动服务：

./zkServer.sh start

重启服务：

./zkServer.sh restart

查看服务状态：

./zkServer.sh status

查看jps：

查看端口：

netstat -tunlp|egrep "()"

2181存在

搭建kafka组件

kafka版本：kafka_2.11-0.11.0.2

修改：/home/csap/kafka/kafka_2.11-0.11.0.2/config/server.properties

添加如下：

#一、broker通用配置
broker.id=0
port=9092
host.name=192.168.134.138    //其他两个结点也都需要改
log.dirs=/home/csap/kafka/kafka_2.11-0.11.0.2/kafka-logs
delete.topic.enable=true
auto.create.topics.enable=false
num.partitions=5
#二、zk配置
zookeeper.connect=192.168.134.138:2181,192.168.134.139:2181,192.168.134.140:2181
zookeeper.connection.timeout.ms=6000
#三、网络与线程配置优化
num.network.threads=2
num.io.threads=2
#四、socket优化(默认)
#socket.send.buffer.bytes=102400
#socket.receive.buffer.bytes=102400
#socket.request.max.bytes=104857600
#五、存储优化
#num.recovery.threads.per.data.dir=1
#log.retention.hours=168
#log.segment.bytes=1073741824
#log.retention.check.interval.ms=300000
#六、replica复制优化配置
replica.fetch.max.bytes=5242880
replica.lag.max.messages=400000
replica.log.time.max.ms=60000
num.replica.fetchers=6
replica.fetch.wait.max.ms=3000
#七、其他优化配置
#auto.leader.rebalance.enable=true
message.max.bytes=524880

把第一台虚拟机的kafka配置复制到其他两台：

scp -r /home/csap/kafka/  root@192.168.134.139:/home/csapscp -r /home/csap/soft/kafka/ csap@172.22.244.14:/home/csap/soft

在bin目录下启动kafka 目录： /home/csap/kafka/kafka_2.11-0.11.0.2/bin

./kafka-server-start.sh ../config/server.properties &

输入jps查看：已有kafka

搭建storm

strom版本：apache-storm-1.2.2.tar.gz

解压：

tar -zxvf apache-storm-1.2.2.tar.gz

配置storm.yaml

路径：/home/csap/storm/apache-storm-1.2.2/conf/storm.yaml

配置内容：（提醒一点：下面这个配置每一行都必须有一个空格，不然会报错）

 storm.zookeeper.servers:                     - "192.168.134.138"- "192.168.134.139"- "192.168.134.140"storm.zookeeper.port: 2181storm.zookeeper.root: /stormnimbus.host: "192.168.134.138"ui.port: 8989worker.heap.memory.mb: 512storm.local.dir: "/home/csap/storm/apache-storm-1.2.2/data" supervisor.slots.ports:- 6700- 6701- 6702- 6703- 6704- 6705- 6706- 6707- 6708nimbus.thrift.max_buffer_size: 2048576worker.childopts: "-Xmx512m"

这里注意需要新建一个data目录：

配置完以后复制到另外两个虚拟机上：

scp -r /home/csap/storm/  root@192.168.134.139:/home/csapscp -r /home/csap/soft/storm/ csap@172.22.244.14:/home/csap/soft

scp -r /home/csap/storm/  root@192.168.134.140:/home/csap

记得修改storm环境变量：路径：etc/profile

export STORM_HOME=/home/csap/storm/apache-storm-1.2.2export PATH=$PATH:$STORM_HOME/bin

在 /home/csap/storm/apache-storm-1.2.2/bin 目录下启动storm：

主节点启动：

./storm nimbus  &

从节点启动：

./storm supervisor  &

主节点UI界面：

./storm  ui  &

主节点启动drpc进程：

./storm  drpc &

记得端口是8989.

storm页面如下：

nginx搭建

nginx版本：nginx-1.9.9

解压：

tar -zxvf nginx-1.9.9.tar.gz

安装依赖包：

yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel

进入nginx目录：

cd /home/csap/nginx/nginx-1.9.9

依次执行命令：

./configure

编译：

make

安装：

make install

配置文件在 /home/csap/nginx/nginx-1.9.9/conf/nginx.conf 目录（可以不用配置，默认端口80）

需要注意的是nginx的启动目录在 /usr/local/nginx/sbin 这个是默认安装位置。

启动：

cd /usr/local/nginx/sbin

./nginx

查看状态：

ps -ef | grep  nginx

启动成功。

打开页面： http://192.168.134.138:80

如图所示：

grafana安装

参考：https://blog.csdn.net/yaos829/article/details/103611032

grafana版本：grafana-6.7.1-1.x86_64.rpm

在 /home/csap/grafana 目录下安装

sudo yum localinstall grafana-6.5.2-1.x86_64.rpm

启动：

sudo service grafana-server start

配置grafana在服务器启动时启动

sudo /sbin/chkconfig --add grafana-server

取消grafana在服务器启动时启动

sudo systemctl enable grafana-server.service

第一次登录 grafana，在浏览器里输入 http://http://192.168.134.138/:3000 账号：admin 密码 admin。

需要修改端口等 grafana 配置，修改配置文件即可。

grafana 日志文件位置：/var/log/grafana

grafana 环境文件位置： /etc/sysconfig/grafana-server

grafana 配置文件位置： /etc/grafana/grafana.ini

启动成功之后页面：

grafana 安装之后需要配置：

（有一点需要注意，把grafana 里面的token复制粘贴到Dbus配置文件里面）

安装InfluxDB

influxdb安装版本：influxdb-1.3.5.x86_64.rpm

安装目录： /home/csap/influxdb

在influxdb-1.1.0.x86_64.rpm的存放目录下执行如下命令：

rpm -ivh influxdb-1.3.5.x86_64.rpm

启动：

service influxdb start

登陆influxdb

influx

初始化脚本，依次执行下列操作：

create database dbus_stat_db
use dbus_stat_db
CREATE USER "dbus" WITH PASSWORD 'dbus!@#123'
ALTER RETENTION POLICY autogen ON dbus_stat_db DURATION 15d

Dbus安装

版本：deployer-0.6.1.zip

Dbus安装目录：

/home/csap/soft/Dbus

解压：

tar -zxvf /home/csap/Dbus/deployer-0.6.1.zip

修改配置文件：config.properties

目录：/home/csap/soft/Dbus/deployer-0.6.1/conf

修改内容如下：

待写：XXXXXXXXXXXXXXXXXXXXXXXXX

在 /home/csap/Dbus/deployer-0.6.1/bin 目录下

初始化：

./init-all.sh

成功