消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度,分析Kafka是如何实现高效文件存储,及实际应用效果。

1.1  Kafka的特性:

- 高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。

- 可扩展性:kafka集群支持热扩展

- 持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失

- 容错性:允许集群中节点失败(若副本数量为n,则允许n-1个节点失败)

- 高并发:支持数千个客户端同时读写

1)每个service里面的kafka consumer数量都小于对应的topic的partition数量,但是所有服务的consumer数量之和等于partition的数量,这是因为分布式service服务的所有consumer都来自一个consumer group;

2) 如果来自不同的consumer group就会处理重复的message了。同一个consumer group下的consumer不能处理同一个partition,不同的consumer group可以处理同一个topic,那么都是顺序处理message,一定会处理重复的。

一般这种情况都是两个不同的业务逻辑,才会启动两个consumer group来处理一个topic。

线程的同步:相当于多个线程去同时访问同一块资源,但是每次只能有一个线程去访问,也就是会阻塞。解决线程同步的方法有(这也是常问的):互斥锁,信号处理,条件变量。

怎么创建socket通信

服务器:

1.创建一个socket

2.bind一个句柄(端口和地址)

3.listen设置监听的客户数

4.accept客户端的句柄

5.读写。

客户机:

1.创建一个socket

2.connect到服务器

3.读写操作。

线程和进程的区别:

1.进程是系统进行资源分配和调度的一个独立单位。 线程是:是CPU调度和分派的基本单位。

2.线程的开销比进程的开销小。

3.一个进程里面可以创建多个线程。

4.进程是独立的内存单元,线程可以多个线程共享一片资源,提高处理效率。

进程间的通信方式有哪几种:

管道,信号,socket,共享内存,消息队列

kafka面试题整理相关推荐

  1. Kafka面试题及答案整理 110道 (持续更新)

    最新Kafka面试题[附答案解析]Kafka面试题及答案,Kafka最新面试题及答案,Kafka面试题新答案已经全部更新完了,有些答案是自己总结的,也有些答案是在网上搜集整理的.这些答案难免会存在一些 ...

  2. Kafka面试题与答案全套整理

    转载自 Kafka面试题与答案全套整理 1. Kafka的用途有哪些?使用场景如何? 总结下来就几个字:异步处理.日常系统解耦.削峰.提速.广播 如果再说具体一点例如:消息,网站活动追踪,监测指标,日 ...

  3. kafka面试题知识点整理

    kafka-面试题整理 刚刚学了kafka,整理一些面试题知识点,帮助记忆 1.什么是kafka 2.什么是消息队列 3.kafka通信流程 4.Leader选举流程 5.副本及同步原理 6.消费者消 ...

  4. 14个最常见的Kafka面试题及答案【转】

    原创 IT168企业级 2017-08-21 17:40 本文为您盘点了14个最常见的Kafka面试题,同时也是对Apache Kafka初学者必备知识点的一个整理与介绍. 1.请说明什么是Apach ...

  5. 2022年php真实面试题整理

    2022年 php 面试题整理分享 1. 单列模式实现方式 单例模式 顾名思义就是一个类只能有一个实例,不能重复调用,只能实例化一次,像整个系统提供这个实例.可以避免大量的new操作,减少资源消耗,典 ...

  6. 后端开发面试题整理 2019

    在一个公众号看到了下面的面试题整理,觉得不错,就在这篇博客记录下来,寒假这段时间会抽空去逐个解决这些面试问题,并用博客逐个记录这些面试题的答案,请关注后续---- JAVA集合题 Collection ...

  7. 计算机组成算术流水线,计算机组成系统结构试题整理.doc

    计算机组成系统结构试题整理 选择题(50分,每题2分,正确答案可能不只一个,可单选或复选) (CPU周期.机器周期)是内存读取一条指令字的最短时间. (多线程.多核)技术体现了计算机并行处理中的空间并 ...

  8. 2010 .NET面试题整理之基础篇

    2010 .NET面试题整理之基础篇 zhuan 开篇语:对于已有工作经验的朋友,也许面试题已显得不怎么重要,但是如果你应聘的还仅仅是个普通的程序员,相信在很多的公司都还是会先拿出一套面试题,可能对整 ...

  9. android笔试题整理

    笔试题整理 今天接到消息,说下个星期三.会陆陆续续的有公司来学校找暑假实习生.还没准备好啊,这就来啦?麻蛋 我慌的要死啊~ 1.Math.round(11.5)等于多少(). Math.round(- ...

  10. Java经典面试题整理及答案详解(八)

    简介: Java经典面试题第八节来啦!本节面试题包含了进程.线程.Object类.虚拟内存等相关内容,希望大家多多练习,早日拿下心仪offer- 了解更多: Java经典面试题整理及答案详解(一) J ...

最新文章

  1. MMD_5b_ComputationalAdvertising
  2. 推荐.NET CF控件(Resco MobileForms Toolkit)
  3. c++ opencv编程实现暗通道图像去雾算法_OpenCV图像处理专栏十五 |一种基于亮度均衡的图像阈值分割技术...
  4. boost::hana::sizeof_用法的测试程序
  5. php 缺少 wordpress,Wordpress localhost安装错误 - 您的PHP安装似乎缺少WordPress所需的MySQL扩展程序...
  6. CF468B Two Sets
  7. arm linux dma_alloc_coherent 实现,dma_alloc_coherent (建立一致性 DMA 映射函数)
  8. java 内部类 作用,内部类,java内部类的四大作用
  9. 2018-携程-春招题
  10. I/O 多路复用的特点:
  11. anaconda在windows和mac上的安装并部署grasshopper_ghpythonremote
  12. 计算机与电气工程sci期刊,2019年电气工程领域的英文SCI期刊(影响因子+近年来期刊发表数量)...
  13. PyTorch中文教程 | (1) PyTorch深度学习极速入门
  14. 接口测试流程及常见问答
  15. 总资产周转率、资产负债率、销售净利率、资产收益率、净资产利润率、劳动生产率、人均利润率
  16. python.exe无法找到入口
  17. 华为AR系列路由器密码重置
  18. 输入、输出电阻与带负载能力的总结
  19. vue 加载数据后渲染页面
  20. 思博伦Landslide CORE帮助UQ现网测试

热门文章

  1. ftp服务器FileZilla Server详细配置教程
  2. 伺服驱动器开发案例,迈信EP100
  3. 继电保护原理1.1-电流、方向保护
  4. 如果命运是一条孤独的河流,谁会是你的灵魂摆渡人
  5. 20个最好的免费流程图软件| 流程图制作工具
  6. 素数II题解(素数筛)
  7. 京东数据分析SQL面试题
  8. 展视互动签约新华网 创在线教育新蓝图
  9. 切割html字符串,使用javascript如何分割字符串?
  10. R语言学习笔记之数据清洗与整理(三)