kafka概念：
    kafka是一个高吞吐量的流式分布式消息系统，用来处理活动流数据。比方网页的訪问量pm,日志等，既可以实时处理大数据信息
    也能离线处理。
    特点：
        1.高吞吐量    
        2.是一种显式的分布式系统，它如果，数据生产者（producer）,代理（brokers）和数据使用者（consumer）分散在多台机器上。
        3.有关哪些数据已经被使用了的状态信息保存为数据使用着（consumer）的一部分。而不是保存在服务秋上。
关于队列的基础知识：
    消息：指的是通信的基本单位，由消息生产者（producer）公布关于某个胡全体（topic）的消息，这句话的意思是消息以一种物理方式被发送给了
    作为代理（broker）的server。若干的消费者（consumer）订阅（subscribe）某个话题，然后生产者公布的消息都会被发送给全部的使用者。
    
    kafka是一个显式的分布式系统。指的是生产者，消费者，和代理者都能够执行在作为一个逻辑单位的，相互协调的集群的不同机器上。
    
    消费者组：每一个消费者进程都隶属于一个消费者组。每条消息仅仅会发送到这个消费者组中的一个消费者进程，消费者组将多个消费者进程或多台
    机器在逻辑上看做为了一个消费者。消费者组的意义就是。每条消息都仅仅会发送到这个消费者组中的一个进程，可是在同一个组中的消费者进程
    都能使用这个消息，所以不管消费者组中有多少个订阅者。每条信息值在组中存储一份！
    在kafka中，使用者（consumer）负责维护反应哪些消息已经被使用的状态（偏移量）。在kafka中会将状态数据保存到zookeeper中，
    在hadoop的载入作业从kafka并行载入作业时。每一个mapper在map任务结束之前会将状态偏移量，存储到hdfs中。

通过这样的机制还能够回退数据读。

    
    分发机制;
    kafka通常情况下是执行在集群中的server上。没有中央的“主”节点。

代理彼此之间是对等的。不须要不论什么手动配置就可以可随时加入和删除。

相同，

        生产者和消费者能够在不论什么时候开启。 每一个代理都能够在zookeeper(分布式协调系统)中注冊的一些元数据（比如，可用的主题）。生产者和消费者
        能够使用zookeeper发现主题和相互协调。

关于生产者和消费者的细节将在以下描写叙述

。

    消费者和生产者通过分区实现负载均衡。
        主题：用来区分不同种类的数据信息
分区partition:有主有从。将数据写到不同的文件上，分区的编号默认是从0開始。0,1,2,3...
leader负责读写数据，follower负责同步数据，高吞吐量。负载均衡
   producer来能够去不同的分区上去写数据，consumer也是相同原理，这样就能够
   将读写负载均衡到不同的分区中
消费之consumer，消费数据从主分区上（leader）读
消费组：共享消费信息，在同一个消费组中的消费者，读取同一份数据仅仅要一次即可了。由于
同一个组中消费者之间共享数据

    #########################################################################################################
安装kafka:     
1.上传kafka_2.9.2-0.8.1.1.tgz到server
2.单节点kafka,
a.先启动zookeeper集群
运行bin/kafka-server-start.sh  config/server.properties
会报：
Unrecognized VM option 'UseCompressedOops'
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
原因是jdk的版本号不匹配，须要改动一下配置文件
改动文件：
去掉这个配置
-XX:+UseCompressedOops
b.启动一个服务端
bin/kafka-server-start.sh config/server.properties
c.查看topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看topic描写叙述
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
d.測试
启动一个生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
开启一个消费者
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
3.集群搭建

改动配置文件
vim config/server-1.properties 
最后的zookeeper集群的配置
zookeeper.connect=storm01:2181,storm02:2181,storm03:2181
再将kafka的配置复制到其它的server
scp -r /usr/itcast/kafka root@storm02:/usr/itcast/
scp -r /usr/itcast/kafka root@storm03:/usr/itcast/
改动配置文件
vim config/server-1.properties 
broker.id=1,broker.id=2
启动測试

    
    
 

转载于:https://www.cnblogs.com/bhlsheji/p/5347352.html

kafka介绍和集群环境搭建相关推荐

  1. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  2. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十一）NIFI1.7.1安装

    一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120master192.168.0.121slave1192.168.0.122 slave2 ...

  3. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十二）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。...

    Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...

  4. 大数据介绍、集群环境搭建、Hadoop介绍、HDFS入门介绍

    大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍 文章目录 大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍 1.课前资料 2.课程整体介绍 3.大数据介绍 3.1 什么是大数 ...

  5. 学习笔记之-Kubernetes（K8S）介绍，集群环境搭建，Pod详解，Pod控制器详解，Service详解，数据存储，安全认证，DashBoard

    笔记来源于观看黑马程序员Kubernetes(K8S)教程 第一章 kubernetes介绍 应用部署方式演变 在部署应用程序的方式上,主要经历了三个时代: 传统部署:互联网早期,会直接将应用程序部署 ...

  6. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十九）ES6.2.2 安装Ik中文分词器

    注: elasticsearch 版本6.2.2 1)集群模式,则每个节点都需要安装ik分词,安装插件完毕后需要重启服务,创建mapping前如果有机器未安装分词,则可能该索引可能为RED,需要删除后 ...

  7. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（二十八）：kafka0.10.1 内置性能测试API用法示例...

    消费者测试: ./kafka-consumer-perf-test.sh --zookeeper vm10.60.0.11.com.cn:2181,vm10.60.0.7.com.cn:2181,vm ...

  8. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十八）ES6.2.2 增删改查基本操作

    #文档元数据 一个文档不仅仅包含它的数据 ,也包含 元数据 -- 有关 文档的信息. 三个必须的元数据元素如下: ## _index     文档在哪存放 ## _type     文档表示的对象类别 ...

  9. 高吞吐消息中间件Kafka集群环境搭建（3台kafka，3台zookeeper）

    高吞吐消息中间件Kafka集群环境搭建(3台kafka,3台zookeeper) 一.集群搭建要求 1.搭建设计 2.分配六台Linux,用于安装拥有三个节点的Kafka集群和三个节点的Zookeep ...

最新文章

  1. Java算法（两数之和）
  2. cdc工具 postgresql_零编码打造异构数据实时同步系统——异构数据源CDC之2
  3. 论“性能需求分析”系列专题（一）之 性能需求剖析
  4. Objective-C 运行AppleScript脚本
  5. es6箭头函数_javascript-ES6函数进阶(箭头函数，默认参数)(笔记)
  6. 计算机图形学E7——OpenGL 交互式三角形裁剪直线
  7. pytorch torchtext
  8. Oracle在plsql上数据类型是nvarchar2(2)表的字段，查询时最后一位不显示
  9. 2007年8月28日 月全食 照片
  10. 使用FileUpload控件上传文件时对文件大小的限制
  11. 可道云kodexplorer隐藏免费版按钮及简单修改使用方法
  12. 推荐16个超棒的国外免费PSD资源素材网站
  13. namecheap关闭域名自动续费的方法步骤
  14. SQL注入——猜测字段名称
  15. 系统虚拟化:原理与实现 读书笔记一: VMM 分类
  16. 世界顶级音效公司_世界顶级游戏开发公司
  17. 计算机存储介质清除工具,天桥科技存储介质信息消除工具
  18. 舍弗勒城市车辆转向系统研究完成，可实现全自动平行泊车
  19. python 编写函数，实现根据键盘输入的长、宽、高之值计算长方体体积
  20. Install OIM9.1.0.1 on RHEL5.4

热门文章

  1. Flutter文本组件Text
  2. Springboot07配制数据统一返回格式以及定义统一的异常处理类
  3. Android自定义ImageView（二）——实现双击放大与缩小图片
  4. Java中的堆分配参数总结《对Java的分析总结》（二）
  5. Mr.J-- jQuery学习笔记(一)--初入jQuery
  6. Mr.J--简易的判断输入两次密码是否一致(静态)
  7. Java内功修炼系列一工厂模式
  8. javascript:使用canvas绘图2D图形
  9. Python基础__Python序列基本类型及其操作（1）
  10. Dependency Walker使用说明[转]