幕客网学习摘要记录1

1. flink了解
flink在2014年成为apache顶级项目，可以处理流式数据和批式数据。主要用于流式处理，和spark streaming和storm是同一类别框架。
flink处理数据是事件级别，延迟毫秒级别。
flink是主从架构，一般生产环境，在yarn上运行。
flink默认ui端口8081。
flink也是分层式的框架，最底层是部署层，然后是core层，对外api层，library层。flink和spark类似，也有ml，图处理，类sql模块等等。
编程的思想和spark基本一致。

2.kafka
由linkedin开源，是apache顶级项目。
是流处理平台，可以作为数据管道，数据处理，数据存储。
是一个消息队列，但是不仅仅是一个消息队列。
消费者数目少于等于partition数目
订阅者的数量要小于等于partition的数量
所有的读和写都从lead进，fllower只是作为备份。（partition）
slf4j注解，getter，setter注解
kafka内部有一个offsets topic来存储被消费的topic的offset，来保证原子性
kafka高级特性-零拷贝----操作系统操作内核空间，应用程序操作用户空间，数据从本地磁盘传输到网络，要经历如下步骤：
（1）数据从本地到内核空间页缓存（Read buffer）
（2）内核空间缓存到用户空间缓存
（3）应用程序处理完后写回socket缓存（Socket buffer）
（4）socket缓存复制到网卡缓存
0拷贝，是指内核空间缓存和用户空间缓存的交互为0.
（1）数据从本地到内核空间页缓存
（2）内核空间页缓存到网卡缓存（NIC buffer）

转载于:https://www.cnblogs.com/superzzh/p/9826401.html

幕客网学习摘要记录1相关推荐

幕客网学习摘要记录2----vim
vim vim = vi + improved 新增了: (1)多级撤销 (2)语法加亮和自动补全 (3)支持多种插件 (4)多文件编辑 vimrc高度可定制 :version :h vimrc :e ...
牛客网刷题记录 || 结构体和类
这是牛客网刷题记录专栏第五篇博文,先给大家简单介绍一下牛客网,牛客网是一个集笔面试系统.题库.课程教育.社群交流.招聘内推于一体的优质网站,牛客网题库中包含几万道题目,注重通过边学边练的模式揽获编程人 ...
牛客网刷题记录 || 循环
这是牛客网刷题记录专栏第七篇博文,先给大家简单介绍一下牛客网,牛客网是一个集笔面试系统.题库.课程教育.社群交流.招聘内推于一体的优质网站,牛客网题库中包含几万道题目,注重通过边学边练的模式揽获编程人 ...
Go基础（幕客网视频学习笔记）
go语言的特性 golang是一门开源的编程语言,2007年诞生,2009年11月开始开源. golang的特点运行效率高:go是一门编译性的语言,程序再开发完成之后只需要编译一次,后续不需要进行编 ...
mysql 幕客网_MYSQL 基本使用 for Mac
install 点击安装就 OK 安装完毕的弹出提示要切记,把密码记下,登录时需要密码 2016-11-06T03:27:25.257692Z 1 [Note] A temporary passwor ...
mysql 幕客网_Mysql（一）
一.如何连接mysql数据库服务器? 前提:mysql数据库已经安装在本地电脑(localhost/127.0.0.1),用户名和密码都为root. 方式1:通过cmd命令连接mysql数据库. my ...
CSP考试笔记：C++篇（第四章、面向对象）（牛客网学习）
面向对象(C++语言核心内容) 1.面向对象概述:更符合人的思维,基于面向过程 2.类和对象抽象和类编写程序的目的:就是为了模拟现实世界的事务,解决现实中的问题,实现信息化.定义类:通常,将接口(类声 ...
牛客c语言数组,牛客网学习笔记 - C/C++
常见的字符转意: & a m p ; 表示 & & l t ; 表示 < & g t ; 表示 > & q u o t ; 表示 " & ...
牛客网编程题python输入输出_牛客网算法题目记录
车站建设问题有10^8个村庄排在一条公路上,依次编号为0~10^8-1,相邻村庄距离为1,其中有n个村庄居住着牛牛,居住着牛牛的村庄从小到大依次为a0~an-1,其中保证a0=0. 现在需要建设车站 ...
牛客网学习笔记-day01
Java修饰符大小 public>protected>default>private final方法不等同于private方法虽然类中的private方法都隐式地指定为final, ...

幕客网学习摘要记录1

幕客网学习摘要记录1相关推荐

最新文章

热门文章