大数据技术之kafka (第 3 章 Kafka 架构深入 ) 高效读写数据

1）顺序写磁盘

Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端，
为顺序写。官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机写只有 100K/s。这
与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。

2）零复制技术

这个0拷贝到底什么意思呢？

假如你本地磁盘某个目录下有一个1.txt文件，要写到2.txt这个文件下，我们学过网络编程我们都知道，我们需要使用 IO流读取1.txt，然后写入2.txt。但是我们的代码是无法直接操作文件的，代码会调用操作系统将文件读到操作系统的kernel space的这块空间，然后读到用户空间，也就是你的代码，通过你的代码又写到操作系统的kernel space这块空间，有操作系统来完成文件的写入，我们都知道底层对文件的操作都是c语言来完成的，这种操作是不是比较慢的。

所以就有了0拷贝

大数据技术之kafka (第 3 章 Kafka 架构深入 ) 高效读写数据相关推荐

大数据技术之 Kafka (第 1 章 Kafka 概述)
第 1 章 Kafka 概述 1.1 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域. 1.2 消息队列 1.2.1 传统消息 ...
大数据技术之 Kafka (第 3 章 Kafka 架构深入 ) Kafka 消费者
3.3.1 消费方式 consumer 采用 pull(拉)模式从 broker 中读取数据. push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由 broker 决定的. 它的目标 ...
大数据技术之 Kafka (第 3 章 Kafka 架构深入 ) Log存储解析
Kafka 工作流程 Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的. topic 是逻辑上的概念,而 partition 是物理上的概念,每 ...
大数据技术之 Kafka (第 2 章 Kafka快速入门)
第 2 章 Kafka 快速入门下载安装kafka集群 1.需要jdk 2.需要zookeeper,这个东西在最新版的Kafka中内置. 3.下载Kafka安装包 (下载官网地址:Apache Ka ...
大数据技术原理与应用——第一章大数据概述
第一章大数据概述 1.1 大数据时代 1.1.1 第三次信息化浪潮信息化浪潮发生时间标志解决的问题代表企业第一次浪潮 1980年前后个人计算机信息处理 Intel.AMD.IBM.苹 ...
大数据技术原理与应用——第一章
大数据时代三次信息化浪潮信息化浪潮时间标志解决的问题第一次信息化浪潮 1980 个人计算机信息处理第二次信息化浪潮 1995 互联网信息传输第三次信息化浪潮 2010 大数据.云计 ...
百分点大数据技术团队：可插拔OSS架构设计和实战经验
编者按:随着互联网.大数据和人工智能等技术的发展,信息资源得到最大程度的共享,但随之而来的海量文件存取的功能和性能问题也日渐突出.在政务领域解决方案中,对象存储往往扮演着非常重要的角色,如全国各地的健 ...
百分点大数据技术团队：互联网舆情系统的架构实践
现代社会是一个信息驱动的社会,每天都有大量的信息产生. 据统计,互联网上每天有数十亿条媒体文章产生,在线信息检索超过500亿次. 伴随着互联网技术的发展和新媒体创新应用,人们越来越倾向于通过微博.微信 ...
大数据技术之 Kafka (第 3 章 Kafka 架构深入 ) Kafka 生产者
3.2.1 分区策略 1)分区的原因 (1)方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic又可以有多个 Partition 组成,因此整个集群就可以 ...

大数据技术之kafka (第 3 章 Kafka 架构深入 ) 高效读写数据

1）顺序写磁盘

2）零复制技术

大数据技术之kafka (第 3 章 Kafka 架构深入 ) 高效读写数据相关推荐

最新文章

热门文章