jstorm 读取mysql_zookeeper,kafka,jstorm,memcached,mysql流式数据处理平台部署
一.平台环境介绍:
1.系统信息:
项目
信息
系统版本:
Ubuntu14.04.2 LTS \n \l
用户:
*****
密码:
******
Java环境:
openjdk-7-jre
语言:
en_US.UTF-8,en_US:en
磁盘:
每台vda为系统盘(50G),vdb为数据盘(200G)挂载于/storage目录hcloud15最为DB,第二块磁盘为2000G
主机范围:
192.168.21.7~192.168.21.15,192.168.21.17,192.168.21.18(11台)
主机名:
以IP地址为准,依次为hcloud07~hcloud18
2.服务组件分布:
服务名称
分布主机
Zookeeper
hcloud12,hcloud13,hcloud14
Kafka
hcloud07,hcloud08
Jstorm
hcloud09,hcloud10,hcloud11
Memcached
hcloud13,hcloud14
Mysql
hcloud15
Web-UI
hcloud17
二.平台环境配置:
三.Zookeeper配置:
1.安装主程序及需要的组件:
apt-get install -y libzookeeper-java libzookeeper-mt2 zookeeper zookeeperd
2.修改配置文件:
2.1.zookeeper主配置文件
vim /etc/zookeeper/conf/zoo.cfg
##修改数据目录
dataDir=/storage/lib/zookeeper
##所有zookeeper主机
server.1=hcloud12:2888:3888
server.2=hcloud13:2888:3888
server.3=hcloud14:2888:3888
##
2.2 做启动前准备
mkdir -p/storage/lib/zookeeper
cd /storage/lib/zookeeper
ln -s/etc/zookeeper/conf/myid myid
vim myid
##填入zookeeper主机的编号,第一台是若是1,依次往后类推
1
##
3.测试启动及定义自动启动:
3.1测试启动
invoke-rc.d zookeeper start
#正常情况下会启动成功,若失败请根据失败信息查找原因,或查看日志
tail -f/var/log/zookeeper/zookeeper.lo
3.2随机自动启动
update-rc.dzookeeper defaults
四.Jstorm配置:
下载解压主程序包
cd /srv
wget http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz
tar zxfjstorm-2.0.4-SNAPSHOT.tar.gz
2.修改配置文件
vim conf/storm.yaml
##注意缩进,加入zookeeper主机的IP地址,和jstorm监听的端口
storm.zookeeper.servers:
- "192.168.21.12"
- "192.168.21.13"
- "192.168.21.14"
supervisor.slots.ports:
- 6800
- 6801
- 6802
- 6803
- 6804
- 6805
- 6806
- 6807
##Nimbus和Supervisor节点配置文件相同
3.测试启动及定义自动启动:
3.1测试启动
3.1.1在nimbus节点上执行:
nohup jstorm nimbus &
查看$JSTORM_HOME/logs/nimbus.log检查有无错误
3.1.2在supervisor节点上执行
nohup jstorm supervisor &
查看$JSTORM_HOME/logs/supervisor.log检查有无错误
3.2随机自动启动
3.2.1Nimbus节点
vim /srv/jstorm/StartNimbus.sh
##加入环境变量,和启动命令
exportJSTORM_HOME=/srv/jstorm
export PATH=$PATH:$JSTORM_HOME/bin
nohup $JSTORM_HOME/bin/jstorm nimbus >$JSTORM_HOME/StartNimbus.log &
##
chmod +x /srv/jstorm/StartNimbus.sh
vim/etc/rc.local
##添加以下一行,开机就会自动执行StartNimbus.sh脚本启动jstorm
/srv/jstorm/StartNimbus.sh
##
3.2.2Supervisor节点
vim /srv/jstorm/StartSupervisor.sh
##加入环境变量,和启动命令
export JSTORM_HOME=/srv/jstorm
exportPATH=$PATH:$JSTORM_HOME/bin
nohup$JSTORM_HOME/bin/jstorm supervisor > $JSTORM_HOME/StartSupervisor.log &
chmod +x /srv/jstorm/StartSupervisor.sh
vim/etc/rc.local
##添加一下一行
/srv/jstorm/StartSupervisor.sh
##
五.Kafka配置:
1.下载解压主程序包
cd /srv
wget http://www.eu.apache.org/dist//kafka/0.8.2.1/kafka_2.9.2-0.8.2.1.tgz
tar zxf kafka_2.9.2-0.8.2.1.tgz
2.修改配置文件
cdkafka_2.9.2-0.8.2.1/
vim config/server.properties
##
broker.id=1 #第二个节点依次类推
log.retention.hours=48
zookeeper.connect=192.168.21.12:2181,192.168.21.13:2181,192.168.21.14:2181
##填入zookeeper的主机的IP
3.测试启动及自动启动
vim/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh
##原理同Jstorm一样
exportKAFKA_HOME=/srv/kafka_2.9.2-0.8.2.1
nohup$KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties \\
>$KAFKA_HOME/StartKafka.log &
##
chmod +x /etc/init.d/StartKafka.sh
vim /etc/rc.loca
##添加一行
/srv/kafka_2.9.2-0.8.2.1/StartKafka.sh
##
六.Memcached配置:
1.安装主程序
vim /etc/memcached.conf
##将以下行注释
# -l 127.0.0.1
##
2.启动以及自动启动
启动:invoke-rc.d memcached start
随机自动启动:update-rc.d memcacheddefaults
七.Mysql配置:
1.安装主程序
apt-get instlal mysql-server-5.5
##安装过程需要输入mysql密码
2.修改配置文件
2.1.修改数据库的data路径(mysql的默认data路径在/var/lib/mysql目录下)
invoke-rc.d mysql stop
mkdir -p /storage/lib/mysql
chown -Rmysql:mysql /storage/lib
cp -pR /var/lib/mysql /storage/lib/
vim /etc/apparmor.d/usr.sbin.mysqld
##做如下修改,注意末尾逗号
# /var/lib/mysql/ r,
# /var/lib/mysql/** rwk,
/storage/lib/mysql/r,
/storage/lib/mysql/** rwk,
##
2.2.修改主配文件
vim /etc/my sql/my.cnf
##做如下修改:
#datadir = /var/lib/mysql
datadir =/storage/lib/mysql
##
3.启动和自启动
3.1.启动
/etc/init.d/apparmor restart
invoke-rc.d mysql start
3.2自启动
update-rc.d mysql defaults
八.Jstorm,Zookeeper的Web-UI配置:
1.Jstorm-Web-UI
安装tomcat部署Web-UI程序
apt-get install tomcat7 �y
cd/usr/share/tomcat7/
mkdir -p .jstorm
##复制jstorm主机的配置文件到/usr/share/tomcat7/.jstorm/目录下
cp-f $JSTORM_HOME/conf/storm.yaml ~/.jstorm/
cd /srv
wget http://42.121.19.155/jstorm/jstorm-2.0.4-SNAPSHOT.tar.gz
tar zxfjstorm-2.0.4-SNAPSHOT.tar.gz
cd/var/lib/tomcat7/webapps
cp /srv/jstorm/jstorm-ui-0.9.6.2.war ./
mv ROOT ROOT.old
ln -sjstorm-ui-2.0.4-SNAPSHOT ROOT
2.Zookeeper-Web-UI
2.1. 下载
3.jstorm 与Apache 整合
3.1Apache加载ajp模块
Apache2.2 以上可以使用ajp方式,简单方便;
执行以下命令查看Apache已经加载的模块:
apachectl -t -D DUMP_MODULES
执行以下命令加载proxy_ajp 模块:
a2enmod proxy_ajp
可以使用查看命令查看已开启的模块:
apachectl -t -D DUMP_MODULES
3.2配置Apache 虚拟目录:
vim /etc/apache2/sites-enabled/js.conf
##
ServerName localhost
DocumentRoot"/var/lib/tomcat7/webapps/"
ProxyRequests Off
ProxyPreserveHost On
Order Deny,Allow
Deny from all
Allow from all
ProxyPass /jstorm ajp://localhost:8009/
ProxyPassReverse /jstorm ajp://localhost:8009/
##
3.3配置tomcat
vim /etc/tomcat7/server.xml
#将下行注释取消
3.4参考链接
https://confluence.atlassian.com/jira/configuring-apache-reverse-proxy-using-the-ajp-protocol-183468775.html
http://chirag.bodar.in/configure-apache-httpd-24-with-tomcat-7x-on-ubuntu-1204-1304-and-1404
jstorm 读取mysql_zookeeper,kafka,jstorm,memcached,mysql流式数据处理平台部署相关推荐
- jstorm mysql_zookeeper,kafka,jstorm,memcached,mysql流式数据处理平台部署
一.平台环境介绍: 1.系统信息:项目信息 系统版本:Ubuntu14.04.2 LTS \n \l 用户:***** 密码:****** Java环境:openjdk-7-jre 语言:en_US. ...
- mysql 流式查询_Mybatis流式查询避免OOM
前言 当指定查询数据过大时,我们一般使用分页查询的方式,一页一页的将数据放到内存处理.但有些情况不需要分页的方式查询数据,如果一下子将数据全部加载出来到内存中,很可能会发生OOM.这时我们可以使用流式 ...
- 实时流式处理平台功能介绍
作者:赵平 导读:在上一篇Wormhole系列文章中,我们介绍了Wormhole的设计思想,并给出了Stream.UMS.Flow.Namespace等相关概念的具体定义,从文章中我们得知,Wormh ...
- #Wormhole# (开源)流式处理平台设计思想
作者:赵平 导读:互联网的迅猛发展使得数据不再昂贵,而如何从数据中更快速获取价值变得日益重要,因此,数据实时化成为了一个大趋势.越来越多的业务场景需要实时分析,以极低的延迟来分析实时数据并给出分析结果 ...
- 图解大数据 | 流式数据处理-Spark Streaming
作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-det ...
- Java8 新特性之流式数据处理(转)
转自:https://www.cnblogs.com/shenlanzhizun/p/6027042.html 一. 流式处理简介 在我接触到java8流式处理的时候,我的第一感觉是流式处理让集合操作 ...
- Java8 :流式数据处理
java8的流式处理极大了简化我们对于集合.数组等结构的操作,让我们可以以函数式的思想去操作,本篇文章将探讨java8的流式数据处理的基本使用. 一. 流式处理简介 在我接触到java8流式处理的时候 ...
- JDK8 新特性流式数据处理
在学习JDK8新特性Optional类的时候,提到对于Optional的两个操作映射和过滤设计到JDK提供的流式出来.这篇文章便详细的介绍流式处理: 一. 流式处理简介 流式处理给开发者的第一感觉就是 ...
- mybatis中mysql流式读取_MyBatis读取大量数据(流式读取)
## 一.背景 导出大量数据时,虚拟机频繁GC,内存耗尽,CPU爆满,可采用Mybatis数据流式读取进行优化. ## 二.JDBC三种读取方式: 1. 一次全部(默认):一次获取全部. 2. 流式: ...
最新文章
- 文本处理工具之grep和egrep
- 使用codeplex管理WP7项目开发版本
- win7更新错误0x800b0109_Win7系统Windows update更新出现错误代码800b0101怎么办
- 有什么办法可以判断页面是静态还是动态?_网络营销——网络营销专员到底是教你如何选择网站页面制作...
- 高效应用程序的7个JVM参数
- linux系统编程:IO读写过程的原子性操作实验
- Git(9)-diff
- asp.net使用 csla 序列化错误 有关于wcf的错误.
- Maven多模块项目搭建
- (译)C++11中的Move语义和右值引用
- 中绘制折线_统计图之折线图的结构和制作过程
- 超实用的微信图片转换工具
- 多表关联的update语句
- 偶遇拍外景的小姐姐们
- MySql存储引擎的比较及选择
- 图像中值滤波器python实现
- 服务器IO-HPSocket
- 块/文件/对象三种存储的优缺点
- zencart模板列表下载地址
- 计算机用word做贺卡,利用word制作贺卡
热门文章
- SQL经典面试题及答案
- TensorFlow学习笔记(九)tf搭建神经网络基本流程
- python科学计算笔记(十三)pandas的merge、concat合并数据集
- 数据湖之iceberg系列(三)iceberg快速入门
- jvm系列(二):JVM内存结构
- VisualSVN server——批量添加用户
- 爆牙齿的世界杯日记(小组末轮AB组)
- python json模块 超级详解
- 栈,堆,值类型,引用类型,装箱,拆箱 .NET中 6个重要的概念
- 微信跳一跳高分系列四:一个 JAVA 版开源的微信跳一跳辅助工具