大数据之-Hadoop_大数据技术生态体系---大数据之hadoop工作笔记0014

然后我们来看看,既然说到大数据,我们来看看他的整个的技术体系.

可以看到,首先最底层是数据来源层.

可以看到我们的数据,可以来至于

1.数据库,结构化的数据,比如订单信息

2.还有文件日志,半结构化的数据,比如用户的行为数据,使用习惯数据等,这种数据

3.然后还有一些文档,视频,ppt非结构化数据

这是我们数据的来源.

然后再上一层是数据传输层.

上面我们是收集到了数据,但是我们把数据放在哪呢?

我们知道我们需要放到hadoop的hdfs的分布式存储中去,这样的话,需要把,上面的的数据来源层的数据

通过

1.结构化的数据可以通过sqoop,把数据插入到hdfs中去

hive是对数据进行查询的,他提供了类似sql的用法,可以对hdfs中的数据进行查询.

3.然后flume可以非常方便的来获取日志信息,负责日志信息的收集

4.然后kafka是消息队列,可以用来

大数据之-Hadoop_大数据技术生态体系---大数据之hadoop工作笔记0014相关推荐

新冠全球蔓延，AI+大数据拿什么拯救全人类？ | AI 技术生态论
整理 | 夕颜责编 | 唐小引头图 | 付费下载自视觉中国出品 | CSDN(ID:CSDNnews) 自疫情发生以来,不少团队开始利用人工智能和大数据技术来进行疫苗研发.灾情防控等,比如百度L ...
大数据技术生态体系组件概述
大数据架构如下图所示: 图中涉及的技术名词解释如下: 1)Sqoop:sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql)间进行数据的传递,可以将一个关系型数据库 ...
数据科学领域有哪些技术_领域知识在数据科学中到底有多重要？
数据科学领域有哪些技术 Jeremie Harris: "In a way, it's almost like a data scientist or a data analyst has ...
15大数据技术生态体系
Spark Streaming 是准实时(批处理:一批批的处理):主流 Storm是完全实时(来了就处理) 只有这两种是实时计算前面的都是离线计算 zookeeper统一配置和调度
Hadoop——Hadoop优势、组成、大数据技术生态体系、系统框架图
大数据之-Hadoop_推荐系统框架图---大数据之hadoop工作笔记0015
然后我们来看一下推荐系统的架构是什么样子的, 比如你购买完淘宝的商品以后他就会自动的给你推荐类似的产品. 从上面可以看到,比如我要买海狗人参丸,那么当我们点击这个商品,会给nginx发送请求,然后这 ...
大数据之-Hadoop_组成---大数据之hadoop工作笔记0013
然后我们再来看看这个hadoop的组成吧可以看到namenode相当于目录,而datanode才是武功秘籍要知道hadoop,由namenode:存元数据 datanode:存数据 seconda ...
大数据之-Hadoop_环境搭建_JDK安装---大数据之hadoop工作笔记0017
然后我们再去安装一下jdk的环境,首先,我们说明一下我们的目录规则我们在opt下,放所有的软件和解压后的软件,这里 software ,我们放所有的tar包,然后解压后的文件我们放到module中去 ...
大数据之-Hadoop_环境搭建_虚拟机准备---大数据之hadoop工作笔记0016
然后我们来安装虚拟机环境首先我们要准备一个centos的虚拟机这里我用的是,桌面版的. 我们如果以前有做好的,可以克隆以前的. 点击下一步

大数据之-Hadoop_大数据技术生态体系---大数据之hadoop工作笔记0014

大数据之-Hadoop_大数据技术生态体系---大数据之hadoop工作笔记0014相关推荐

最新文章

热门文章