大数据实验室（大数据基础培训）——Kafka的安装、配置及基础使用

2019独角兽企业重金招聘Python工程师标准>>>

为某企业做的培训，完整文档见：http://gudaoxuri.github.io/bd-lab/

11. Kafka

此主题介绍Kafka的安装、配置及基础使用。

Kafka介绍
http://www.infoq.com/cn/articles/kafka-analysis-part-1

— infoq.com

Kafka基本信息

官网：http://kafka.apache.org/

11.1. 环境准备

# 切换到工作空间
cd /opt/workspaces
# 创建Kafka数据目录
mkdir data/kafka
# 创建Kafka日志目录
mkdir logs/kafka

11.2. 安装

wget http://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz
tar -zxf kafka_2.10-0.8.2.2.tgz
rm -rf kafka_2.10-0.8.2.2.tgz
mv kafka_2.10-0.8.2.2 ./frameworks/kafka

11.3. 配置(伪分布式)

vi ./frameworks/kafka/config/server.properties

# 设置如下参数：
broker.id=0
port=9092
# 对外主机名
advertised.host.name=<Docker对外IP>
# 数据目录
log.dirs=/opt/workspaces/data/kafka
# 连接ZK
zookeeper.connect=localhost:2181

当您有多块网卡或使用特殊的网络设置导致Kafka启动时使用的IP与对外暴露的IP不同时需要指定advertised.host.name为您期望使用的外网IP

log.dirs的解释为A comma seperated list of directories under which to store log files，这里所谓的日志文件指的是Kafka的消息持久化文件，并不是一般意义的运行日志

vi ./frameworks/kafka/config/log4j.properties

# 设置日志目录
kafka.logs.dir=/opt/workspaces/logs/kafka

11.4. 启动与停止

nohup ./frameworks/kafka/bin/kafka-server-start.sh ./frameworks/kafka/config/server.properties >/dev/null 2>&1 &

11.5. 测试

./frameworks/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
./frameworks/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
> This is a message
> This is another message
# 在另个窗口输入
./frameworks/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
> This is a message
> This is another message

转载于:https://my.oschina.net/gudaoxuri/blog/670658

大数据实验室（大数据基础培训）——Kafka的安装、配置及基础使用相关推荐

分布式大数据多维分析（OLAP）引擎Apache Kylin安装配置及使用示例【转】
Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...
Spark安装配置和基础编程
Spark安装配置和基础编程重要知识点: Spark是一个开源的可应用于大规模数据处理的分布式计算框架,该框架可以独立安装使用,也可以和Hadoop一起安装使用.为了让Spark可以使用HDFS存取 ...
《大型数据库技术》MySQL数据库安装配置及基础使用
文章目录 1.下载安装MySQL 1.1 搜索MySQL下载页面 1.2 查看各种MySQL版本 1.3 安装配置MySQL 2.数据库基本操作 2.1 创建数据库 2.2 创建关系表 2.3 插入数 ...
Android Studio新手–下载安装配置–零基础入门–基本使用–调试技能–构建项目基础–使用AS应对常规应用开发
转自:http://blog.csdn.net/yanbober/article/details/45306483 目标:Android Studio新手–>下载安装配置–>零基础入门–& ...
Tomcat安装配置与基础使用
Tomcat安装配置与基础使用: 以下除了特殊需求,一般来说下面阐述的基础操作占据了日常对tomcat操作80%以上,对于一般开发基本够用. 1.首先配置好JDK环境,可参考以下: http://bl ...
分布式大数据多维分析（OLAP）引擎Apache Kylin安装配置及使用示例
原文地址:http://lxw1234.com/archives/2016/04/643.htm Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(O ...
Python基础之概述和安装配置
Python概述.Python的安装配置 1.Python概述 "龟叔"Guido van Rossum 1989年写的一个编程语言.Python提供了完善的基础代码库,覆盖了网络 ...
kafka php 安装配置,kafka安装及Kafka-PHP扩展的使用，kafkakafka-php扩展_PHP教程
kafka安装及Kafka-PHP扩展的使用,kafkakafka-php扩展话说用了就要有点产出,要不然过段时间又忘了,所以在这里就记录一下试用Kafka的安装过程和php扩展的试用. 实话说,如 ...
Linux九阴真经之大伏魔拳残卷4 nginx（模型，安装配置，模块）
I/O模型 1 .同步/异步:关注的是消息通信机制 (既被调用用者是否返回消息) 同步:synchronous,调用者等待被调用者返回消息,才能继续执行 (被调用者完成任务也不通知调用者,调用者需 ...
计算机基础培训南阳,2016秋大学计算机基础（南阳理工学院）
Q1:我已经拿到了计算机等级考试的证书,学这个课程是否就没必要了? A1:计算机等级考试是对社会公众的一种考试,注重知识和技术,而这门课更注重概念.方法.能力的培养,所以在教学内容和目标上都有很大不同 ...