Redis大数据应用场景
当前已经进入大数据时代，大数据技术和产品百花齐放，在各自的应用场景发挥重要作用，Redis做为高性能的键值数据库与这些技术有着千丝万缕的联系，本文将介绍如何将Redis与Hadoop、ELK等技术进行结合。
一、Redis与Hadoop
Hadoop作为大数据时代的分布式计算平台，由于其高可用性、可扩展性、高容错、低成本等特性，已经是大数据系统的标配，但是Hadoop中HDFS的存储机制使得它无法面向终端用户(例如利用用户的历史浏览记录为用户推荐新闻、商品等)，所以通常是将离线计算的结果导入到面向用户的存储中(例如Redis、HBase等)。
而Hadoop支持自定义OutPutFormat，如果需要自定义的输出，只需要继承OutPutFormat，整个流程如下所示，只需要在Reduce端定义RedisOutPutFormat完成映射即可。
当然也有一种不太多见的情况，就是Redis作为输入源，同样Hadoop提供了自定义的InputFormat。
在Redis的选用上，可以根据结果的规模决定使用Redis主从版还是集群版本。
二、Redis与ELK
ELK是ElasticSearch、Logstash、Kibana三个开源工具的组合，由于其处理方式灵活、配置简单、检索性能高效、前端界面绚丽等特性，在日志处理领域被广泛使用。
它的基本工作流如下：
- LogStashAgent部署在各个目标机器上按照logstash的语法收集对应的数据，并发送的ElasticSearch上。
- ElasticSearch负责存储和索引LogAgent上的数据
- Kibana可直接与ElasticSearch交互，负责日志的可视化分析。
但是如果LogStashAgent个数太多或者索引数量较多，直接插入ElasticSearch中会使得其压力过大，所以在ElasticSearch和LogStash之间通常会设置一个缓冲，通常会选用Redis，而且ELK默认就支持Redis的集成，整个过程只需要修改配置即可完成，整个流程如下所示：
Redis大数据应用场景相关推荐
- 唐福林：新浪微博的Redis大数据之路
本文讲的是唐福林:新浪微博的Redis大数据之路,2012年4月15日消息,由IT168(ITPUB.IXPUB.ChinaUnix)主办的2012中国数据库技术大会(DTCC)进入第三天的议程.大会 ...
- 2021年大数据基础（三）：大数据应用场景
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据 目录 大数据应用场景 电商方 ...
- InfoQ —— 腾讯游戏大数据服务场景与应用
简介 周东祥,本人从2010年毕业进入腾讯互动娱乐部门工作,一直致力在腾讯游戏运营开发工作.先后负责SAP业务受理系统,盗号自助系统,元数据系统以及近2年在腾讯游戏大数据运营开发中积累大量的大数据开发 ...
- vue渲染大量数据如何优化_大数据量场景下的Vue性能优化
性能优化最常见的落脚点是在网络和dom上,但是在大数据量的场景下,由于Vue本身的特性,可能会造成js运行层面的性能问题,这篇文章讨论的就是针对这一部分的性能优化方案. 模拟一个大数据量的场景 // ...
- 大数据概论、大数据概念、大数据特点（4V）、Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、大数据应用场景、大数据发展前景、大数据部门间业务流程分析
文章目录 1.大数据概念 2.大数据特点(4V) 2.1Volume(大量) 2.2Velocity(高速) 2.3Variety(多样) 2.4Value(低价值密度) 3.大数据应用场景 4.大数 ...
- “互联网+工业”下的大数据应用场景分析
工业大数据是一个全新的概念,从字面上理解,工业大数据是指在工业领域信息化应用中所产生的大数据. 随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码.二维码.RFID.工业传 ...
- 大数据基础（三）：大数据应用场景
文章目录 大数据应用场景 电商方面 传媒方面 金融领域
- 【工业大数据】工业大数据应用场景分析；工业大数据，从何做起
工业大数据也是一个全新的概念,从字面上理解,工业大数据是指在工业领域信息化应用中所产生的大数据.随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码.二维码.RFID.工业传 ...
- 银行大数据应用场景：客户画像如何做？
现在大数据的应用领域非常广泛,它几乎已经涵盖各个行业,包括但不限于金融.政府.零售.交通.制造.电信.医疗卫生以及政府的很多部门的各个领域.然而,金融行业一直是大数据应用的前沿和领航者,这与金融行业的 ...
最新文章
- pip（pip3）安装依赖库失败
- 数据结构与算法 -- 时间复杂度
- java调用本地shell_java通过ProcessBuilder执行本地shell命令 获取ip配置信息
- Linux目录、文件的创建与删除
- Licia：最全最实用的 JavaScript 工具库
- C++输入、输出优化模板整理
- 安装服务器加硬盘分区,DOL服务器硬盘分区与安装模式
- java: -source 1.5 中不支持 diamond 运算符
- openstack虚拟机迁移live-migration中libvirt配置
- IOS开发学习笔记007-数据结构
- 北航计算机本科生考研,和计算机考研的师弟师妹们分享一下经验本人本科北航...
- html与css笔记（旧）
- 全新自适应地址发布页HTML源码【手机端】【pc端】
- 商品订单管理系统（参考答案）
- SSD固态硬盘怎么选？选对接口是关键
- Whitelabel Error Page原因及解决方案
- eap协议 c语言,CCNP无线技术知识点-EAP和EAPOL协议报文详解
- 量化投资学习——orderbook数据分析
- 区块链产业发展面临的挑战、发展建议以及趋势丨2021中国区块链产业发展报告...
- HotSpot JVM -- 深度好文