介绍一些平时用得到的服务/组件
介绍一些平时用得到的服务/组件
组件名 | 属性标签 | 特性 | 使用场景 |
---|---|---|---|
Mysql | 关系型数据库,行式存储,支持sql | 轻量级数据分析,存储 | hive的元数据,kettle的资源库,web 应用后台库 |
Oracle | 关系型数据库,行式存储,支持sql | 中量级数据分析,存储 。可分布式 | BI(商业智能) |
ES | 分布式全文搜索引擎 | ES自动可以将海量数据分散到多台服务器上去存储和检索,支持海量数据进行近实时的全文检索(like “%ABC%”)和结构化检索(= “ABC” ) | 站内搜索(电商,招聘,门户等),IT系统(OA,CRM,ERP);维基百科,GitHub |
redis | 高性能的key-value数据库 | 读写性能极高,丰富的数据类型 | 结合storm的实时查询分析,java高并发秒杀 |
memcache | 基于内存 | 分布式的高速缓存系统,对于一些大型的、需要频繁访问数据库的网站访问速度提升效果十分显著。 | 单点登录页面跳转的时候,解决重复性登录的问题。 |
Kafka |
高吞吐量、低延迟:kafka每秒可以处理几十万条消息; 可扩展性:kafka集群支持热扩展; 持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失; 容错性:允许集群中节点失败(若副本数量为n,则允许n-1个节点失败); 高并发:支持数千个客户端同时读写 |
一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统; 它的最大的特性就是可以实时的处理大量数据以满足各种需求场景; 比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等; 用scala语言编写 |
日志收集:可以用Kafka可以收集各种服务的log; 消息系统:解耦和生产者和消费者、缓存消息等; 用户活动跟踪:Kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等; 运营指标:Kafka也经常用来记录运营监控数据; 流式处理:比如spark streaming和storm |
ETL工具 | |||
Kettle | ETL工具 | 本地开发,通过资源库同步在服务器执行 | 常用ETL工具之一 |
Sqoop | ETL工具 | 常规etl工具,可集群部署 | mysql与hadoop数据迁移等 |
调度工具 | |||
azkaban | 调度工具 | 处理有依赖关系的复杂任务调度,只支持mysql存储基本信息 | 常用调度工具之一 |
crontab | linux自带调度工具 | 简单任务调度 | 适用日常少量调度 |
介绍一些平时用得到的服务/组件相关推荐
- MongoDB的RestAPI微服务组件--Mongo-Rest介绍
MongoDB的RestAPI微服务组件--Mongo-Rest介绍 开源项目:https://gitee.com/yunwisdoms/mongodb-rest 安装 使用npm安装: npm in ...
- netty实现高性能文件服务器,通用文件服务组件(Netty实现版本)
本文所述文件服务组件在笔者此前一篇文章中已有阐述(基于netty的文件上传下载组件),不过本文将基于之前这个实现再次进行升级改造,利用基于注解的方式进行自动装配. 1. 简介 1.1 Netty简介 ...
- 如何应对数千微服务组件带来的挑战?
专家简介 高驰涛 (Neeke Gao),PHP/PECL开发组成员,掌握近10种开发语言,9年架构师经验,6年研发管理经验.云智慧AIOps社区PMC,同时也是PECL/SeasLog.PECL/J ...
- (二)浅谈OpenStack T版服务组件--Keyston身份服务(#^.^#)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 一.Keyston身份服务简介 1.主要功能 2.管理对象 3.keystone认证过程 二.Keystone身份服务组件安 ...
- 微服务入门篇(二),万字长文带你实操作SpringCloudAlibaba微服务组件
目录 SpringCloudAlibaba介绍 简介 为什么要学SpringCloudAlibaba 从Spring Cloud netflix 到 Spring Cloud Alibaba 功能组件 ...
- How tomcat works 读书笔记十四 服务器组件和服务组件
之前的项目还是有些问题的,例如 1 只能有一个连接器,只能处理http请求,无法添加另外一个连接器用来处理https. 2 对容器的关闭只能是粗暴的关闭Bootstrap. 服务器组件 org.apa ...
- 2:Alibaba微服务组件Nacos注册中心
Spring Cloud Alibaba系列目录 提示:这里是第二章:Alibaba微服务组件Nacos注册中心 微服务和Spring Cloud Alibaba介绍 Alibaba微服务组件Naco ...
- 8.10Dubbo框架里的微服务组件
title date comments categories tags permalink Dubbo框架里的微服务组件 2020/4/28 true 微服务 微服务 8.10 今天以开源微服务框架 ...
- 开源一款强大的文件服务组件(QJ_FileCenter)(系列二 安装说明)
系列文章 1. 开源一款强大的文件服务组件(QJ_FileCenter)(系列一) 2. 开源一款强大的文件服务组件(QJ_FileCenter)(系列二 安装说明) 3. 开源一款强大的文件服务组件 ...
最新文章
- 利用 createTrackbar 进行二值化
- 单链表的建立、排序和翻转
- 130242014076+陈旭+第3次实验
- 【Socket】linux网络多路复用IO技术
- MyBatis 实际使用案例-核心配置解读
- YBTOJ:彩色圆环
- cycleGAN的改进文章(CyCADA + U-GAT-IT)
- python paramiko并发_python学习笔记9--paramiko模块、多线程、锁机制
- Solr删除managedschema
- 安卓seekbar 怎么判断正负_如果没有万用表,我们要怎么区分电源DC线的正负极呢...
- winform 防止多開
- 离散数学及其应用 (第2版)
- 视频抠像软件Imagineer Systems Mokey
- CREO:CREO软件的简介、安装(七大步骤)、学习路线大全(CREO软件各模块界面解释—菜单栏快速栏工作区、草绘/零件/工程图/装配设计讲解)、案例应用(几十个案例)之详细攻略
- python一键电影搜索与下载
- ruoyi 项目启动步骤
- RoadMap:面向自动驾驶视觉定位的轻量级语义地图(ICRA2021)
- 等保2.0三级移动互联安全扩展要求
- 【信号重构】经傅里叶逆变换(IFFT)后得到实数序列-含Matlab程序
- 全网最细MySQL数据库下载及安装教程