suport公司的大数据平台遇到的问题及解决方案总结

1.nohup日志文件中打印schema时，只有一个root？

答：打印schema时，若只有一个root单词，说明过滤的时候有问题（很有可能将数据全部过滤掉了）。当时我出现的问题是，application.conf文件中，filter.string这个配置出现大小写的问题。

2.数据量比较少（大概比标准的要少1000来行）

答：在建表的时候多指定几个primary key

3.日志中出现大小写的问题

已经通过键值对的方式解决掉了

4.跑大量数据特别慢

（1）去sparkAPP上看看excutor执行的流程，看哪个线程一直在卡着

（2）正则的编译是不是每条都做了编译

（3）rawdata的数据落地到phonix，由于公司内部运维对HBASE不是很了解，设置的HBASE读写内存只有几百M，因此最后采用rawData数据落地到parquetfile中，并且从parquetfile中读取数据做相关的聚合操作，效率提高了将近十几倍

（4）json格式特别的复制，字段非常的多，导致直接内存溢出，

通过规范化schema来解决问题

suport公司的大数据平台遇到的问题及解决方案总结相关推荐

大数据平台日志存储分析系统解决方案
大数据平台日志存储分析系统是在大数据平台下,针对业务系统产生的日志记录进行存储和分析.日志数据来自ElasticSearch存储的日志历史数据,并将需要存储和分析的日志数据从ElasticSearch ...
基于Hadoop的大数据平台实施记——整体架构设计[转]
http://blog.csdn.net/jacktan/article/details/9200979 大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底 ...
硅谷企业的大数据平台架构什么样？看看Twitter、Airbnb、Uber的实践
导读:本文分析一下典型硅谷互联网企业的大数据平台架构. 作者:彭锋宋文欣孙浩峰来源:大数据DT(ID:hzdashuju) 01 Twitter的大数据平台架构 Twitter是最早一批推进数字 ...
多图技术贴：深入浅出解析大数据平台架构
目录: 什么是大数据 Hadoop介绍-HDFS.MR.Hbase 大数据平台应用举例-腾讯公司的大数据平台架构 "就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在 ...
京东到家大数据平台架构演进实战
达达-京东到家大数据平台是根据公司业务持续快速成长,而规划建设的一个可持续发展的平台.在建设过程中我们借鉴了很多公司实施大数据平台的经验,并因地制宜构建了我们自己的实施策略,确保在大方向上不会走偏,并 ...
京东到家大数据平台演进实战
达达-京东到家大数据平台是根据公司业务持续快速成长,而规划建设的一个可持续发展的平台.在建设过程中我们借鉴了很多公司实施大数据平台的经验,并因地制宜构建了我们自己的实施策略,确保在大方向上不会走偏,并 ...
【数字化】分享整理-数据中台=大数据平台+数据资产管理平台+数据服务平台
导读:数据中台需要采集数据作为原材料进行数据加工.数据建模,然后分门别类地储存,再根据实际的业务场景,打造各类数据服务(含数据应用平台)从而实现对业务的赋能加速. 目录 1.数据中台的功能架构概览 ...
大数据平台架构的层次划分
1. 数据源层:包括传统的数据库,数据仓库,分布式数据库,NOSQL数据库,半结构化数据,无结构化数据,爬虫,日志系统等,是大数据平台的数据产生机构. 2. 数据整理层:包括数据清洗.数据转换.数据加 ...
昨日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造
本文6539字,阅读时间约20分钟以Hadoop为中心的大数据生态系统从2006年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们深入地使用,出现越来越多的问题,比如:数据开发 ...

suport公司的大数据平台遇到的问题及解决方案总结

suport公司的大数据平台遇到的问题及解决方案总结相关推荐

最新文章

热门文章