概述

智慧交通项目,由车载硬件设备发送GPS等数据,经过简单处理后经大数据平台计算返回结果,实时处理使用Spark2X,离线批处理使用Hive的MapReduce,作为历史数据存入Oracle,本文主要记录关于华为大数据平台使用FLume,Kafka,HDFS,Spark2X,等组件配置,使用过程中遇到的一些问题(踩过的坑),总结经验,记录自己的成长.

框架

本人是第一次设计大数据项目架构,欢迎大家提问,指正,我看到留言和私信都会回复的,下面附上低配版架构图

详述

数据源是从Rabbitmq中获取,在JAVA服务中做一些简单的数据清洗,通过log4j的appender发送给flume,因为公司都是SSM架构,后期有机会可以改造成SpringCloud.从flume开始,后面的所有组件都是安装在由华为大数据平台所管理的集群上面,华为提供一个组件叫做FusionInsightManager,此组件是一个图形化界面,方便监控整个集群的运行状态,和所有安装的组件(如Flume,Kafka)的运行状态,具体请参见华为官方文档.
flume接到数据后配置两个sink,一个发送给hdfs,落地成文件,由hive创建外部表关联,做离线批处理.作为历史数据ETL到oracle数据库.
另外一个sink给到另一个节点的flume服务端(华为定义的),因为直接给到Kafka接不到数据,所以多了一步配置,具体后面的文章会讲.然后由这个flume服务端把数据给到Kafka,再由Spark2X消费Kafka的数据,做实时计算后,返回需要的结果.

关于log4j

这里log4j有一个地方需要注意,如果用普通的maven项目搭建发送给Flume,根据依赖的log4j版本可以使用.properties配置,如果用的是springboot项目,默认是使用log4j2,这里是不支持.properties配置的,如果过非要使用.properties配置,请依赖2.6以上的版本,详情参见官方文档,可以使用xml作为配置文件,log4j2所有版本都适用,下面贴上测试成功的部分截图:
maven项目使用log4j的依赖:

样例代码:

log4j配置文件:

log4j的配置文件一定要放在resources下,不然找不到

下面是springboot的项目:
pom依赖:
一定要先排除掉springboot自带的log

下面添加log4j的依赖

flume依赖

下面是样例代码:

下面是log4j2的xml配置

注意:xml配置文件的名字必须是log4j2-spring.xml,不然会找不到而使用log4j2的默认配置

有不足之处还请多多指点!
未完待续!!

应用华为大数据平台配置大数据项目①相关推荐

大数据平台搭建_一文读懂数据平台、大数据平台、数据中台
作者 | June 来源 | 智领云科技(ID:LinkTimeCloud) 造概念,在 IT 行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩, ...
一文读懂数据平台、大数据平台、数据中台
作者 | June 来源 | 智领云科技(ID:LinkTimeCloud) 造概念,在 IT 行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩, ...
10万字城市大脑一网统管大数据分析平台及大数据展示平台建设方案
导读:原文<10万字城市大脑一网统管大数据分析平台及大数据展示平台建设方案>word(获取来源见文尾),本文精选其中精华及架构部分,逻辑清晰.内容完整,为快速形成售前方案提供参考. 目 ...
数据平台、大数据平台、数据中台……傻傻分不清？这次终于有人讲明白了！
来源 | 智领云科技造概念,在IT行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩,真正做到雅俗共赏.各有趣味.近年来,数据中台之火爆,什么数据 ...
数据平台、大数据平台、数据中台……还分的清不？
造概念,在IT行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩,真正做到雅俗共赏.各有趣味.近年来,数据中台之火爆,什么数据平台.数据中台.数据湖 ...
Axure高保真智慧消防远程监管系统数据可视化大屏看板+web端高保真大数据分析平台看板+大数据交换配置管理平台大屏动态可视化看板
作品介绍:Axure高保真智慧消防远程监管系统数据可视化大屏看板+web端高保真大数据分析平台看板+大数据交换配置管理平台大屏动态可视化看板原型交互及下载链接:https://www.pmdaniu ...
政府大数据平台标准规范-数据接入
搞政府大数据平台的,标准规范是一个绕不过去的内容,而且政府项目对标准规范貌似都特别看重,这是与做企业项目很大的不同.政府大数据平台的标准规范可以从以下几个方面制订: 数据接入,包括结构化.非结构化数据 ...
大数据平台下的数据治理
文章目录什么是数据治理难题大数据平台下的数据生命周期数据治理关键场景数据治理面临的挑战数据治理关键问题 1. 海量系统规模 2. 复杂存储 3. 复杂采集数据治理目标数据治理平台与周边 ...
大数据平台架构：数据平台建设的几种方案
随着大数据在越来越多的企业当中落地,企业要开展大数据相关的业务,那么首先要搭建起自身的数据平台.而企业搭建大数据平台,往往需要结合成本.业务.人员等各方面的因素,来规划数据平台建设方案.今天我们就来聊 ...
基础数据平台迁移大数据平台的一些参考
背景 1.基础数据平台能力诉求:业务迅速增长,业务数据量不断膨胀,重要业务场景越来越多,对于基础数据平台的服务和支持能力提出了更高的要求. 2.数据时效诉求:业务部门经营分析.决策支持对数据时效要求越 ...

应用华为大数据平台配置大数据项目①

应用华为大数据平台配置大数据项目①

概述

框架

详述

关于log4j

应用华为大数据平台配置大数据项目①相关推荐

最新文章

热门文章