nifi集群_nifi架构

nifi是运行在jvm上的一个软件,NIFI的主要组成部分如下：

Web Server(网络服务)

Web Server的主要作用是提供网页服务和rest api

Flow Controller(流控制器)

Flow Controller是NIIF操作的大脑。它为处理器(processor)提供线程执行任务，同时管理处理器的执行调度

Extensions(Preocessor处理器) NIFI中拥有众多的类型处理器，主要分为以下几类：Data Transformation(数据转换)

Routing and Mediation(路由和调解)

Database Access(数据库访问)

Attribute Extraction(属性提取)

System Interaction(系统交互)

Data Ingestion(数据撷取)

Data Egress / Sending Data(数据出口／数据发送)

Splitting and Aggregation(拆分和聚合)

HTTP

Amazon Web Services(亚马逊网络服务)

FlowFile Repository(流文件仓库)

FlowFlie仓库是NIFI 保持追踪流中flowfile的相关信息的地方，仓库的实现是可插拔的，默认的方法是位于一个指定的磁盘分区持久写式日志。 Write-Ahead Log方法

Content Repository(内容仓库)

内容仓库是存储FlowFile的实际内容的地方。仓库的实现是可插拔的。默认的方法是相当简单的机制-直接在文件系统中存储数据块。可以指定多个系统存储地址从而获得不同的物理分区优化单个文件卷的IO性能问题

Provenance Repository(源谱仓库)

Provenance Repository是所有源谱事件数据的存储位置。该库的构建是可插拔使用，默认的实现是使用一个或多个物理磁盘卷。在每个位置的事件数据进行索引和搜索。

NiFi同时也是支持集群的，如下

NiFi 从1.0.0版本发布以来便已实现Zero-Master Clustering(不知道怎么翻译)，每一个节点对不同对数据执行相同的操作。apache zookeeper选取一个节点作为协调器(Coordinator)，zookeeper自动处理故障切换。所有集群的节点发送心跳和状态信息到集群的协调器，协调器负责连接和断开节点。此外，每一个集群一个都有zookeeper选举的主节点。操作人员可以从任何一个节点的用户界面(UI)的NiFi集群互动，所做的任何更改将被复制到集群中的所有节点，允许多个入口点。

nifi集群_nifi架构相关推荐

Apache Durid （HDFS原理特性读写测试集群部署架构设计）
Apache Durid (HDFS 集群部署) Apache Durid (HDFS 集群部署) 1. 分布式文件HDFS 1.1 HDFS简介 1.1.1 HDFS发展历史 1.1.2 HDFS设 ...
【冬瓜哥手绘雄文】集群文件系统架构演变终极深度梳理图解
上篇文章<IO时延你被骗了多久>,竟然没有人给瓜哥发红包!很不像话!冬瓜哥起早贪黑打把势卖艺,最终却连五毛党都赶不上,所以瓜哥决定这篇文章之后休息一段时间,玩玩游戏,看看电影,睡睡大觉了. ...
大数据NiFi（七）：NiFi集群页面管理节点操作
文章目录 NiFi集群页面管理节点操作一.断开节点二.卸载节点三.删除节点
企业集群平台架构设计与实现（lvs/haproxy/keepalived）-高俊峰-专题视频课程
企业集群平台架构设计与实现(lvs/haproxy/keepalived)-4979人已学习课程介绍爱维Linux独家出品,集合目前热门的集群应用技术LVS/HAPROXY/Kee ...
分布式和集群的架构套路总结
本文成于2020年3月14日参考:原文文章目录分布式和集群名词解释使用分布式的心路历程常见的分布式集群架构 1. 纯负载均衡形式(集群方向) 2. 领导选举型(分布式方向) 3. 区块链型( ...
Nacos集群CP架构底层Raft分布式一致性协议实现
Nacos集群CP架构底层Raft协议实现一.CAP定理分区容错性 CP模式 AP模式二.Raft算法 Leader Election 领导选举 Log Replication 日志复制 Rep ...
热烈庆祝“mysql 集群数据库架构成功”
坚持了两周,终于在linux下把mysql集群数据库给架起来了!下面简单说明下集群数据库原理第一:集群数据库分MGM,NDBD,SQL 其中MGM是相当于"中央政府",维持NDB ...
完美避坑！记一次Elasticsearch集群迁移架构实战
作者介绍李猛(ynuosoft),Elastic-stack产品深度用户,ES认证工程师,2012年接触Elasticsearch,对Elastic-Stack开发.架构.运维等方面有深入体验,实践 ...
集群调度架构的变革 (二)
二级调度架构通过隔离资源获取与任务来解决这个问题.这样任务调度逻辑可以针对特定的应用,这也可以保持在集群间共享的能力.Mesos的集群管理在这方面是先驱, 同时YARN支持一部分功能.在Mesos, ...
dubbo源码解析-集群容错架构设计
前言本来是想把整个dubbo源码解析一次性弄完,再做成一个系列来发布的,但是正巧最近有位好朋友要去杭州面试,就和我交流了一下.本着对dubbo源码略有心得的心态,在交流过程中也发表了个人的一些粗劣的 ...

nifi集群_nifi架构

nifi集群_nifi架构相关推荐

最新文章

热门文章