大数据平台搭建包含哪些层级
大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？
1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包括实时传感器数据、定位轨迹数据和其他实时流数据;三是交通公共数据的采集，包括公网的数据爬取、开放平台的数据接口、行业公共数据库的数据交换等。对采集到的数据需进行提取、转换和加载(extract-transform-load，ETL)处理，包括数据抽取、转换、清洗和隐私脱敏等预处理工作，预处理集成后的数据进入交通大数据云存储中心。
2、数据存储层：交通领域数据规模巨大，数据存储层需设计基于云计算的分布式云存储系统，以支持海量数据的存储扩展。提供基于云的列式存储、NoSQL存储或数据仓库存储能力;根据业务需求和快速配置，可切换相应的分布式存储模式，还可根据需要对传统BI系统的数据仓库和数据集市进行集成。利用Hadoop集群提供PB级存储能力扩展，同时Hadoop YARN和Spark Mesos等集群资源管理框架可支持多种存储模式和计算模式在此基础上，对各类存储数据进行多粒度信息融合，构建统一数据处理单元，为计算服务层提供标准化的分析数据集。
3、数据计算层：针对交通大数据多源、异构、海量等特征，传统的计算模型难以直接处理。数据计算层需满足主流大数据处理框架的各种计算模型与方法实现，如基于云计算并行框架，实现基于Hadoop批处理、Storm流处理、Spark内存处理的高效数据挖掘与机器学习。数据计算层采用基于统一数据处理单元和计算模式、模型微服务化的大数据分析框架，通过构建多种微服务簇网络，为应用层提供支持MapReduce、Storm、Spark等多种计算模式下的多种数据挖掘模型与方法(如分类、聚类、序列等);根据大数据分析需求和数据特征，可基于组件配置和服务治理技术进行各类服务的快速切换和灵活管理。
4、数据应用层：数据应用层首先要满足智慧交通各类大数据分析需求，包括基本的可视化与查询、展示、探索等，分析结果能结合知识库应用于决策支持。另外，大数据系统本身管理方面，针对构件化和微服务设计，需对相关中间件进行设计，实现服务治理、组件配置、安全、接口等功能，以支撑存储层和计算层各类微服务的敏捷管理。
平台的每个子系统都包含不同的功能，不同功能的模块组合成一个具有实际应用价值的大数据分析平台，实现对各种业务的前瞻性预测和分析，为用户提供统一的决策分析支持，从而更好地突出平台本身的价值。
大数据平台搭建包含哪些层级相关推荐
- 大数据基础——Hadoop大数据平台搭建
文章目录 前言 Hadoop大数据平台搭建 一．Hadoop原理和功能介绍 二．Hadoop安装部署 三．Hadoop常用操作 总结 前言 分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
- 大数据平台搭建及集群规划
CDH大数据平台搭建之集群规划_码上_成功的博客-CSDN博客_cdh集群规划 大数据Hadoop分布式集群部署(详细版)_arnoldmp的博客-CSDN博客_分布式集群部署 大数据平台的硬件规划. ...
- 大数据平台搭建 | Hive
前言 大数据平台搭建 | Hadoop 集群搭建(一) 1. 简介 基于Hive3.1.2版本 Hive下载地址 Hive的运行依赖与Hadoop3.X -依赖JDK 1.8环境 2.架构 本质就是存 ...
- CDH大数据平台搭建之SPARK集群搭建
CDH大数据平台搭建之SPARK集群搭建 一.安装规划 二.下载 三.安装及配置 1.解压 2.修改配置文件 四.启动 五.JPS检查节点 一.安装规划 参考CHD大数据平台搭建之集群规划 二.下载 ...
- CDH大数据平台搭建之JDK安装
CHD大数据平台搭建之JDK安装 一.安装JDK 1.下载JDK 2.安装JDK 3.检查是否安装成功 一.安装JDK 1.下载JDK 1.JDK8官网下载 2.提供百度网盘供大家下载,提取码:cdh ...
- CDH大数据平台搭建之虚拟环境配置
CDH大数据平台搭建之虚拟环境配置 前言 一.虚拟机网络配置 1.配置ip地址 2.验证配置是否成功 二.关闭防火墙 1.防火墙命令 2.禁用防火墙 三.虚拟机主机名配置 1.临时配置主机名 2.永久 ...
- 基于Ambari的大数据平台搭建
同CDH部署类似,步骤分为ambari的部署和hdp的部署,先以1台为例(内存>6G,磁盘划分/至少40G,/data/10G),后续节点可以通过扩容方式加入集群,可参考:https://blo ...
- CDH大数据平台搭建之KAFKA集群搭建
CDH大数据平台搭建之KAFKA集群搭建 一.安装规划 二.下载KAFKA 三.安装及配置 1.先安装zookeeper 2.解压 3.新建文件夹 4.修改config目录server.propert ...
- CDH大数据平台搭建之VMware及虚拟机安装
CDH大数据平台搭建-VMware及虚拟机安装 前言 一.下载所需框架 二.安装(略) 三.安装虚拟机 1.新建虚拟机(按照操作即可) 总结 前言 搭建大数据平台需要服务器,这里通过VMware +C ...
最新文章
- 利用OracleCommandBuilder实现 datatable与数据库的增删改
- SAP连接外部ORACLE数据库
- notepad++ ：正则表达式系统教程(zz)
- B站游戏大佬飘了？深挖B站辱北邮事件经过：不是第一次
- github使用介绍
- 汉字与多字节编码的转换 - 回复 不知道 的问题
- VS各个版本的优缺点和发展过程（VC6.0——VS2015）
- SPSS - 显著性分析 一般线性模型的单因素与多因素选择
- 乐视，你敢做VR直播吗？
- 苹果原生二维码生成与扫描及生成的二维码不清楚的解决方案
- 区块链项目——区块链网上安全商铺（合约代码、前端、后台）
- html如何删除网页边框,如何从HTML表中完全删除边框
- 深入C++对象模型（1） -- C++的三种模型
- 大学生如何修好进水的电脑
- ROS编程Raspberry Pi机器人模型
- 学习PS、AI日志总结 （以PS为例）
- Rhapsody 及 Doors安装后如何更改语言界面？
- 阿里P7 java架构师 springcloud、jvm、netty 、redis、数据结构、分布式高并发 视频 下载分享
- Wolfram Mathematica 13.0.1安装流程及中文文档(自用)
- 模拟用户操作 京东抢购 华为mate40 Pro、支付的js脚本