关于流式大数据实时处理技术、平台及应用
1 引言
大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术。根据数据处理的时效性,大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中,批式大数据又被称为历史大数据,流式大数据又被称为实时大数据。
目前主流的大数据处理技术体系主要包括Hadoop[1]及其衍生系统。Hadoop技术体系实现并优化了MapReduce[2]框架。Hadoop技术体系主要由谷歌、推特、脸书等公司支持。自2006年首次发布以来, Hadoop技术体系已经从传统的“三驾马车”(HDFS[1]、MapReduce和HBase[3])发展成为包括60多个相关组件的庞大生态系统。在这一生态系统中,发展出了Tez、Spark Streaming[4]等用于处理流式数据的组件。其中,Spark Streaming是构建在Spark基础之上的流式大数据处理框架。与Tez相比,其具有吞吐量高、容错能力强等特点,同时支持多种数据输入源和输出格式。除了Spark开源流处理框架,目前应用较为广泛的流式大数据处理系统还有Storm[5]、Flink[6]等。这些开源的流处理框架已经被应用于部分时效性要求较高的领域,然而在面对各行各业实际而又差异化的需求时,这些开源技术存在着各自的瓶颈。
在互联网/移动互联网、物联网等应用场景中,个性化服务、用户体验提升、智能分析、事中决策等复杂的业务需求对大数据处理技术提出了更高的要求。为了满足这些需求,大数据处理系统必须在毫秒级甚至微秒级的时间内返回处理结果。以国内最大的银行卡收单机构银联商务为例,其日交易量近亿笔,需对旗下540多万个商户进行实时风险监控,在确保这些商户合规开展收单业务的同时,最大限度地保障个人用户的合法权益。这样的高并发、大数据、高实时应用需求给大数据处理系统提出了严峻的挑战。银联商务以前使用的T&
http://www.taodudu.cc/news/show-6605379.html
相关文章:
- (一)linux
- Windows与ubuntu建立共享的两种方法
- 使用Docker快速搭建Hfish蜜罐
- Linux11
- 【Linux】(一)Linux 入门
- linux.1
- Linux0.11内核源码解析01
- 1.0、Linux-入门概述
- Linux111
- Liunx1
- 【初识Linux】——01Linux系统
- Linux入门--1
- Linux (一)
- Linux0.11内核源码解析-setup.s
- 【Linux】 1.Linux入门
- MATLAB实现TCP/IP通信
- Fibonacci(斐波那契)数列
- 斐波那契Fibonacci 算法优化
- Vue Cli4 使用高德地图定位 获取当前经纬度信息以及周边定位
- Android定位获取当前经纬度
- 树莓派搭建家庭服务器
- 拥有用于游戏的独立服务器的好处
- Python进阶之前端和爬虫基础
- Android 调用系统分享图片、视频等文件
- 北斗公司年会寄词
- 【实习第四天】css其他选择器
- 欲与天公试比高
- 认准“鲲鹏+昇腾”这条路,欲与“天宫”试比高
- 计算机评级为A的学校,全国第四轮学科评估结果(A+、A类学校)
- 双一流大学名单--仅供参考
关于流式大数据实时处理技术、平台及应用相关推荐
- 【2017年第4期】流式大数据实时处理技术、平台及应用
陈纯 浙江大学计算机科学与技术学院,浙江 杭州 310058 摘要:大数据处理系统根据其时效性可分为批式大数据和流式大数据两类.上述两类系统均无法满足"事中"感知查询分析处理模式的 ...
- 全面解析流式大数据实时处理技术、平台及应用
一. 引言 大数据技术的广泛应用使其成为引领众多行业技术进步.促进效益增长的关键支撑技术.根据数据处理的时效性,大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类.其中 ...
- 流式大数据实时处理技术、平台及应用
大数据技术的广泛应用使其成为引领众多行业技术进步.促进效益增长的关键支撑技术.根据数据处理的时效性,大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类.其中,批式大数据 ...
- 流式大数据计算实践(4)----HBase安装
一.前言 1.前面我们搭建好了高可用的Hadoop集群,本文正式开始搭建HBase 2.HBase简介 (1)Master节点负责管理数据,类似Hadoop里面的namenode,但是他只负责建表改表 ...
- 海洋大数据关键技术及在灾害天气下船舶行为预测上的应用
海洋大数据关键技术及在灾害天气下船舶行为预测上的应用 王冬海,卢峰,方晓蓉,郭刚 中电科海洋信息技术研究院有限公司,北京 100041 摘要:随着海洋数据量的爆炸式增长,海洋大数据受到越来越多的关注. ...
- 大数据实时处理-基于Spark的大数据实时处理及应用技术培训
随着互联网.移动互联网和物联网的发展,我们已经切实地迎来了一个大数据 的时代.大 数据是指无法在一定时间内用常规软件工具对其内容进行抓取.管理和处理的数据集合,对大数据的分析已经成为一个非常重要且紧迫 ...
- 从小数据分析到大数据平台,这十几年来大数据开源技术是如何演进的?
本文整理自QCon北京Fangjin Yang的英文主题演讲. 关注"大数据杂谈"公众号,点击"加群学习",更多大牛一手技术分享等着你. 演讲整理:刘继伟 在Q ...
- 大数据可视化技术面临的挑战及应对措施
来源:科技导报 本文约5400字,建议阅读10分钟 本文介绍了适用于大数据的数据可视化技术,讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用. [ 导读 ]本文从大数 ...
- 大数据平台常用组件_这款大数据智能服务平台火了!全自动化配置30+款开源大数据组件...
在互联网市场的头部效应下,企业所面临的竞争压力越来越大,如何有效解决获客成本高.用户黏性低.变现能力弱等问题,正是越来越多的企业开始构建大数据平台的初衷.但由于大数据解决方案所涉及的组件错综复杂.技术 ...
最新文章
- 高手教你PHP上传多张图片
- 010_Select选择器
- C#刷遍Leetcode面试题系列连载(1) - 入门与工具简介
- There is no public key available for the following key IDs:3B4FE6ACC0B21F32
- 判断字符串中有多少汉字
- python分割合并文件
- linux编程问题记录
- mfc单文档中如何将view的基类由CView转为CScrollview
- 《Systems Performance》阅读笔记及收获
- Java构建指定大小文件
- 您无权查看或编辑目前的权限设置;但是,您可以取得所有权或更改审核设置
- Shell 把日志记录按天切割到不同的文件
- PPTP拨号后无法打开网页处理
- 【转】Xposed+JustTrustMe关闭SSL证书验证解决无法抓取https包问题
- 微信公众号发布和群发的区别是什么?
- 马斯洛提出动机理论_动机理论:工作背后的动力机制
- SEO是什么?前端如何进行SEO优化
- Linux中阶—加密库OpenSSL(四)
- ubuntu安装和卸载程序命令总结
- ArkID 一账通:企业级开源IDaaS/IAM平台系统
热门文章
- 元气森林启示录:和元气森林学习,如何正确的修改“简历”【姜太公公】
- 【新手】ISE及Quartus 2 烧录步骤
- matlab做plsda分析,Plsda分析
- thymeleaf 如何用th:each 做条件遍历
- CS224W 3.2 Random Walk Approaches for Node Embeddings
- 使用Trados的点滴经验
- 交易员偏爱市场的理由
- VScode输入vue -V提示vue : 无法加载文件
- iOS项目中一定会用到的两种常用的弹框 从底部弹出 、中间弹出 Swift代码
- 程序员的计算机英语词汇1500词!