什么是大数据（个人理解）
1、什么是大数据？
基本概念
在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！
换个角度说，大数据是：
1、有海量的数据
2、有对海量数据进行挖掘的需求
3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez、impala…）
大数据在现实生活中的具体应用
电商推荐系统：基于海量的浏览行为、购物行为数据，进行大量的算法模型的运算，得出各类推荐结论，以供电商网站页面来为用户进行商品推荐。
精准广告推送系统：基于海量的互联网用户的各类数据，统计分析，进行用户画像（得到用户的各种属性标签），然后可以为广告主进行有针对性的精准的广告投放。
2、那什么是hadoop呢？
hadoop中有3个核心组件：
分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上
分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算
分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源
3、最后来说一下hdfs整体运行机制
hdfs：分布式文件系统
hdfs有着文件系统共同的特征：
1、有目录结构，顶层目录是： /
2、系统中存放的就是文件
3、系统可以提供对文件的：创建、删除、修改、查看、移动等功能
hdfs跟普通的单机文件系统有区别：
1、单机文件系统中存放的文件，是在一台机器的操作系统中
2、hdfs的文件系统会横跨N多的机器
3、单机文件系统中存放的文件，是在一台机器的磁盘上
4、hdfs文件系统中存放的文件，是落在n多机器的本地单机文件系统中（hdfs是一个基于linux本地文件系统之上的文件系统）
hdfs的工作机制：
1、客户把一个文件存入hdfs，其实hdfs会把这个文件切块后，分散存储在N台linux机器系统中（负责存储文件块的角色：data node）<准确来说：切块的行为是由客户端决定的>
2、一旦文件被切块存储，那么，hdfs中就必须有一个机制，来记录用户的每一个文件的切块信息，及每一块的具体存储机器（负责记录块信息的角色是：name node）
3、为了保证数据的安全性，hdfs可以将每一个文件块在集群中存放多个副本（到底存几个副本，是由当时存入该文件的客户端指定的）
综述：一个hdfs系统，由一台运行了namenode的服务器，和N台运行了datanode的服务器组成！
什么是大数据（个人理解）相关推荐
- 我对软件行业及大数据的理解
对软件行业的理解 可以用需求.架构.工具和算法四个词对软件行业做一个整体的概括. 需求是推动软件行业发展的源动力,需求的变化带来了架构.工具和算法的进步. 架构这个层面上,主要涉及的是一种解决问题的思 ...
- 《大数据》2015年第3期“网络大数据专题”——基于特征学习的文本大数据内容理解及其发展趋势...
基于特征学习的文本大数据内容理解及其发展趋势 袁书寒,向 阳,鄂世嘉 (同济大学计算机科学与技术系 上海 201804) 摘要:大数据中蕴含着重要的价值信息,文本大数据作为大数据的重要组成部分,是人类 ...
- 大数据职业理解_到底什么是大数据，大数据职业的具体工作内容是什么？
综合网络解释加上自己的理解给出了大数据的定义. 大数据就是数据规模达到海量级.极快的速度流转.数据类型和来源多种多样.价值密度低而且能够反映事物真实性的数据就是大数据. 大数据的工作内容包括以下几个方 ...
- 大数据职业理解_大数据带给我们职业三大根本改变
那么,大数据为什么成为所有人关注的焦点?大数据带来了什么样的本质性改变?为此,我们与中国计算机学会大数据学术带头人.中国人民大学信息学院院长杜小勇教授进行了访谈. 大数据(Big data)通常用来形 ...
- 大数据职业理解_数据分析师真有那么好？其实正在面临3大职业困境
最近几年,大数据行业的迅猛发展带动了数据分析师需求量的增加.数据分析师迅速成为了求职市场上的香馍馍. 造成一些圈外人认为数据分析就是企业的灵丹妙药,通过数据分析能解决一切问题.产品改版,营销策略,市场 ...
- 大数据的理解，大数据是什么，大数据能干什么？
一.概念: · 一种规模大到在获取.存储.管理.分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模.快速的数据流转.多样的数据类型和价值密度低四大特征. 大数据的本质就是一大堆 ...
- 大数据职业理解_3大数据职业职位描述及其职业要求
1. 数据工程师 职位描述:处理大量数据的公司,并管理数据通道.这意味着,当需要时,你要能确保有效地从数据源收集和检索数据,并进行清理和预处理. 为什么它很重要:如果你只处理过相对小的(<5Gb ...
- 大数据职业理解_学习大数据，你的职业是如何规划的？
作为IT类职业中的"大熊猫",大数据人才(数据工程师,数据分析师,数据挖掘师,算法工程师等).在国内人才市场可谓是一颗闪耀的新星.由于刚刚出于萌芽阶段,这个领域出现很大的人才缺口. ...
- 大数据职业理解_【职业大数据】3大数据职业职位描述及其职业要求
原标题:[职业大数据]3大数据职业职位描述及其职业要求 1. 数据工程师 职位描述:处理大量数据的公司,并管理数据通道.这意味着,当需要时,你要能确保有效地从数据源收集和检索数据,并进行清理和预处理. ...
- 对云计算和大数据的理解
最新文章
- Socket：UDP协议小白
- 推荐十一个吊炸天的AI学习项目
- 一个完整的Core Data应用
- 上周回顾：赛门铁克失足 微软开源对骂
- springboot HBase操作工具类
- Python tcp编程，TCP服务端和TCP客户端代码编写
- JavaScript原生添加移除class的方法
- 当当网新用户注册界面——CSS代码
- cygwin配置git
- mysql pxc测试_Mysql同步机制 - PXC 压力测试 tpcc安装及使用
- python处理ini文件_python对ini配置文件处理
- git提交时发现iml文件没有被排除
- Java线程池的实现原理，你清楚么？
- idea 出现 GC overhead limit exceed解决
- Python网络编程之基于socket实现文件上传
- mysql索引红黑联盟_MySQL的索引
- Dubbo视频教程《基于Dubbo的分布式系统架构视频教程》----课程列表
- 魅族mx4 android5.0,第一手更新 魅族MX4Pro安卓5.0抢先体验
- 2022新版QQ微信域名防红PHP源码+强制跳转打开
- 关于偶的专业-信息工程