​前言

上篇文章讲解了 Kafka 的基础概念和架构,了解了基本概念之后,必须得实践一波了,所谓“实践才是检验真理的唯一办法”,后续系列关于 Kafka 的文章都以 kafka_2.11-0.9.0.0 为例;另外为了让大家快速入门,本文只提供单机版的安装实战教程,如果有想尝试集群方案的,后面在出一篇集群安装的教程,废话不多说了,直接开干。

安装

1. 下载

版本号:kafka_2.11-0.9.0.0

下载地址:http://kafka.apache.org/downloads

2. 安装

# 安装目录$ pwd/Users/my/software/study# 减压$ sudo tar -zxvf kafka_2.11-0.9.0.0.tgz# 重命名$ sudo mv kafka_2.11-0.9.0.0.tgz kafka-0.9# 查看目录结构$ cd kafka-0.9 && lsLICENSE   NOTICE    bin       config    libs      site-docs# 目录结构介绍:# bin: 存放kafka 客户端和服务端的执行脚本# config:存放kafka的一些配置文件# libs:存放kafka运行的的jar包# site-docs:存放kafka的配置文档说明# 配置环境变量,方便在任意目录下运行kafka命令# 博主使用的Mac,所以配置在了 ~/.bash_profile文件中,# Linux中则配置在 ~/.bashrc 或者  ~/.zshrc文件中$ vim ~/.bash_profileexport KAFKA_HOME=/Users/haikuan1/software/study/kafka-0.9export PATH=$PATH:$JAVA_HOME:$KAFKA_HOME/bin# 使得环境变量生效$ source ~/.bash_profile

3.运行

3.1 启动 zookeeper
# 启动zookeeper,因为kafka的元数据需要保存到zookeeper中$ bin/zookeeper-server-start.sh config/zookeeper.properties# 若出现如下信息,则证明zookeeper启动成功了[2020-04-25 16:23:44,493] INFO Server environment:user.dir=/Users/haikuan1/software/study/kafka-0.10 (org.apache.zookeeper.server.ZooKeeperServer)[2020-04-25 16:23:44,505] INFO tickTime set to 3000 (org.apache.zookeeper.server.ZooKeeperServer)[2020-04-25 16:23:44,505] INFO minSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer)[2020-04-25 16:23:44,505] INFO maxSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer)[2020-04-25 16:23:44,548] INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)
3.2 启动 Kafka server
# 以守护进程的方式启动kafka服务端,去掉 -daemon 参数则关闭当前窗口服务端自动退出$ bin/kafka-server-start.sh -daemon config/server.properties
3.3 kafka 基础命令使用
# 1. 创建一个topic# --replication-factor:指定副本个数# --partition:指定partition个数# --topic:指定topic的名字$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic mytopic# 2. 查看创建成功的topic$ kafka-topics.sh --list --zookeeper localhost:2181# 3. 创建生产者和消费者# 3.1 启动kafka消费端# --from-beginning:从头开始消费,该特性也表明kafka消息具有持久性$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic mytopic --from-beginning# 3.2 启动kafka生产端# --broker-list:当前的Broker列表,即提供服务的列表$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic

生产者消费者效果图

4.使用 Java 连接 kafka 进行测试

4.1 创建一个 maven 工程,引入如下 pom 依赖
org.apache.kafka    kafka-clients    0.9.0.0org.apache.kafka    kafka_2.11    0.9.0.0
4.2 消费者端代码

消费者端代码

4.3 生产者端代码

生产者端代码

4.4 消费者端效果图

5.总结

本文介绍了 kafka 单机版安装及简单命令使用,然后使用 Java 实现了生产者和消费者的简单功能,虽然内容可能比较简单,但还是强烈建议大家手动去实践一下,从而对 kafka 的架构有一个更深入的理解。下篇文章我们来介绍一下 Kafka 常用参数及其背后的原理,敬请期待。

系列文章尽在微信公众号【z小赵】,关注作者,系列文章不迷路。

微信公众号搜索【z小赵】

kafka jar包_Kafka系列文章之安装测试-第2篇相关推荐

  1. kafka topic 目录存放在哪_Kafka系列文章之安装测试-第2篇

    前言 上篇文章讲解了 Kafka 的基础概念和架构,了解了基本概念之后,必须得实践一波了,所谓"实践才是检验真理的唯一办法",后续系列关于 Kafka 的文章都以 kafka_2. ...

  2. 基于阿里云服务器环境搭建到项目上线系列文章之三——安装git

    基于阿里云服务器环境搭建到项目上线系列 前言:最近购买了域名和一台阿里云服务器准备做点东西放上去,所以准备把环境搭建到项目上线的过程记录下来,计划一个系列6篇文章 基于阿里云服务器环境搭建到项目上线系 ...

  3. 基于阿里云服务器环境搭建到项目上线系列文章之四——安装composer

    基于阿里云服务器环境搭建到项目上线系列 前言:最近购买了域名和一台阿里云服务器准备做点东西放上去,所以准备把环境搭建到项目上线的过程记录下来,计划一个系列6篇文章 基于阿里云服务器环境搭建到项目上线系 ...

  4. kafka jar包_Windows环境下Flink消费Kafka实现热词统计

    前言碎语 昨天博主写了<windows环境下flink入门demo实例>实现了官方提供的最简单的单词计数功能,今天升级下,将数据源从socket流换成生产级的消息队列kafka来完成一样的 ...

  5. docker添加jar包_Maven系列教材 (七)- 如何添加第三方jar包

    Maven系列教材 (七)- 如何添加第三方jar包 步骤1:Maven项目用到第三方jar步骤2:修改App步骤3:给maven项目添加jar步骤4:保存再执行步骤5:重建本地仓库 步骤 1 : M ...

  6. kafka jar包_和同事交流不会kafka怎么行,API奉上,不是大神也能编

    对于kafka真的是又爱又恨,作为架构和大数据两个方面的通用者, 在这个数据量称雄的时代,越来越起到至关重要的作用,在和同事进行交流的时候,kafka在开发的过程中如何使用能起到最大的效果成为话题之一 ...

  7. jar包在Hadoop集群上测试(MapReduce)

    本片使用MapReduce--统计输出给定的文本文档每一个单词出现的总次数的案例进行,jar包在集群上测试 1.添加打包插件依赖 <build><plugins><plu ...

  8. IDEA打jar包,如何跳过Test测试

    我们在开发中难免会写一些测试类,而maven项目在打jar包时也会进行test,这样不免会造成一些麻烦,在idea中,install时跳过test有两种方式! 一.使用idea软件自带跳过功能 二.使 ...

  9. Kettle系列文章二(安装配置Kettle+SqlServer+简单的输入输出作业)

    一.下载 Kettle下载地址:https://community.hitachivantara.com/docs/DOC-1009855 下拉到DownLoad,点击红框中的链接进行下载.. 二.解 ...

最新文章

  1. CodePush使用调研
  2. Android内存分析
  3. win32 输出文字时清除之前的_努力学习没效果?3个步骤,强化沟通输出,实现飞跃式成长...
  4. 完美国际真数苹果_章子怡玩出新花样,雷人造型别有韵味!和小苹果同框犹如亲姐妹...
  5. java jdk 类加载机制_JDK源码阅读之类加载
  6. 隐马尔可夫模型 HMM 原理及实现
  7. httpClient学习笔记1
  8. 提高编程技巧的十大方法
  9. jks转换 p12、keystore、pk8、x509.pem 命令
  10. 【程序员读论文】题外篇:怎么读论文
  11. 微博分享sdk4.0 中遇到的坑以及解决办法汇总
  12. Python微博项目
  13. Nginx专题:nginx+tomcat实现动静分离
  14. IN4007和IN4148的作用
  15. 【小沐学NLP】Python实现聊天机器人(ELIZA)
  16. UGUI源码解析——ContentSizeFitter
  17. springmvc配置thymeleaf视图解析器
  18. C++ 内联函数/宏/outo/for/nullptr
  19. 【dubbo】(一) dubbo是什么?
  20. 离线翻译android开发,有道翻译官推出Android版 可离线翻译多国语言

热门文章

  1. 1900页Python系列PPT分享二:Python序列(列表、元组、字典、集合)(154页)
  2. Python常用运算符含义与用法演示
  3. 力扣225. 用队列实现栈(JavaScript)
  4. mac bochs 调试linux,Mac OS X下编译安装带debugger的bochs
  5. 天天酷跑php源码_使用Java实现天天酷跑(附源码)
  6. 设置mysql acquisition_MYSQL 7*24 高可用环境的部署
  7. sm2算法c 语言实现,移远通信集成国密安全解决方案的C-V2X AP模组商用落地
  8. windows安装python库_Windows安装Python机器学习包
  9. python自助电影售票机_Spring Cloud版——电影售票系统六使用 Spring Cloud Config 统一管理微服务配置...
  10. nextcloud如何填写数据库_NextCloud安装使用心得记录