大数据_01【介绍】
大数据_01【介绍】
- 01 什么是大数据
- 02 大数据特点
- 03 大数据能做什么【海量数据背景下】
- 04 大数据行业的应用
- 05 大数据发展前景
- 06 大数据部门组织结构
- 07 大数据项目流程
01 什么是大数据
指数据集的大小超过了现有典型数据库软件和工具的处理能力的数据
02 大数据特点
**
- 海量化 数据量从TB到PB 多样化
- 数据类型复杂，超过百分之八十是非结构化的[结构化数据 半结构化数据 完全非结构化数据]
- 快速化 数据量在持续增加(两位数的增长率) ，数据处理速度要求高
- 高价值 在海量多样数据的快速分析下能发挥出更高的数据价值
**
03 大数据能做什么【海量数据背景下】
1. 快速查询 全量查询
2. 数据存储 量大 文件大
3. 快速计算 对边传统方式 【属于离线计算】
4. 实时计算 最新数据
5. 数据挖掘 新价值
04 大数据行业的应用
1. 电信
2. 零售
3. 金融服务
4. 制造
5. 医疗
6. 物联网
7. 智慧城市
05 大数据发展前景
- 党的十八届五中全会提出“实施国家大数据战略”，国务院印发《促进大数据发展行动纲要》，大 数据技术和应用处于创新突破期，国内市场需求处于爆发期，我国大数据产业面临重要的发展机遇。
- 国际数据公司IDC预测，到2020年，企业基于大数据计算分析平台的支出将突破5000亿美元。目前，我国大数据人才只有46万，未来3到5年人才缺口达150万之多
- 2017年北京大学、中国人民大学、北京邮电大学等25所高校成功申请开设大数据课程。 大数据属于高新技术，大牛少，升职竞争小；
- 在北京大数据开发工程师的平均薪水已经到17800元（数据统计来职友集），而且目前还保持强劲的发展势头。
06 大数据部门组织结构
| 平台组 | 数据仓库组 |
|---|---|
| Hadoop、Flume、Kafka、Storm、spark等框架平台搭建 | ETL工程师-数据清洗 |
| 集群性能监控 | Hive工程师-数据分析、数据仓库建模 |
| 集群平台性能调优 | ~ |
| 数据挖掘组 | 报表开发组 |
|---|---|
| 算法工程师 | JavaEE工程师 |
| 推荐系统工程师 | ~ |
| 用户画像工程师 | ~ |
07 大数据项目流程
1. 数据生产
2. 数据采集
3. 数据存储
4. 需求分析
5. 数据预处理
6. 数据计算
7. 结果数据存储
8. 结果数据展现
生-集-存-析 预-计-存-现
大数据_01【介绍】相关推荐
- SQL Server 2019 新特性之 SQL Server大数据群集 介绍（一）
SQL Server 2019 新特性之 SQL Server大数据群集 介绍(一) 从开始SQL Server 2019 预览,SQL Server 大数据群集允许你部署的 Kubernetes 上 ...
- 助力工业物联网，工业大数据项目介绍及环境构建【一、二】
文章目录 工业大数据项目介绍及环境构建 01:专栏目标 02:项目背景 03:项目需求 04:业务流程 05:技术选型 06:Docker的介绍 07:Docker的网络 08:Docker的使用 0 ...
- 大数据技术介绍：01大数据概述
大数据技术介绍:01大数据概述 大数据技术框架: Hadoop生态系统(1) Hadoop生态系统(2) Hadoop构成:Flume(非结构化数据收集): Cloudera开源的日志收集系统 用于非 ...
- 大数据初级笔记一：大数据入门介绍
人人都是数据咖 大数据产生背景 1．信息基础设施持续完善,包括网络带宽的持续增加.存储设备性价比不断提升,犹如高速公路之于物流,为大数据的存储和传播准备物质基础. 2．互联网领域的公司最早重视数据资产 ...
- tensflower官方测试案例_大数据性能测试介绍
点击上方蓝色字体,选择"设为星标" 回复"资源"获取更多资源 大数据技术与架构点击右侧关注,大数据开发领域最强公众号! 大数据真好玩点击右侧关注,大数据真好玩! ...
- 关于大数据技术的演讲_大数据核心技术介绍：大数据处理技术
大数据之所以能够从概念走向落地,说到底还是因为大数据处理技术的成熟,面对海量的数据,在有限的硬件条件下,以低成本满足大数据处理的各种实际需求.那么具体处理大数据需要哪些技术,今天我们来简单介绍一下大数 ...
- 大数据基石-Hadoop3.x学习教程-大数据场景介绍
大数据基石-Hadoop Hadoop3.x版本全系列教程 === 楼兰 === 文章目录 一.理解大数据 1.大数据的特点 2.大数据的应用方向 3.大数据的工作前景 二.大数据课程体系介绍 1.大 ...
- 【大数据】常用大数据工具介绍
整理了工作中常用到的大数据工具的简单介绍. [zookeeper]-- 分布式应用程序协调服务 ZooKeeper是一个分布式应用程序协调服务,是Hadoop和Hbase的重要组件.它为分布式应用提供 ...
- GreenPlum 大数据平台--介绍
一,GreenPlum 01,介绍: Greenplum是一种基于PostgreSQL的分布式数据库,其采用shared-nothing架构,主机.操作系统.内存.存储都是自我控制的,不存在共享. 官 ...
最新文章
- 深圳华强北三菱服务器维修,三菱电梯GPS维修的故障分析 -解决方案-华强电子网...
- java怎么做系统_Java系统监控怎么做
- Kotlin入门(4)声明与操作数组
- loadRunner函数之lr_set_debug_message
- nodejs在自然语言处理中的一些小应用
- 一些简单的二维数学的算法。
- wsdl2java maven_maven wsdl2java配置无法正常工作
- 计算机硬盘的常用分区工具,常用的几款分区合并工具推荐，合理使用电脑硬盘...
- 施努卡：锂电池模组生产线（锂电池模组是什么）
- 改造家里的开关为智能开关，保留原有开关控制，零火版，HomeKit篇（三）
- click与onclick的区别
- 调整VirtualBox虚拟磁盘VDI文件空间大小
- 千兆网线交叉线接法(有图)
- springboot集成微信和QQ第三方登录
- 用adb pull复制Android手机里的文件到服务器遇到system/bin/sh: adb: not found
- uni-app升级方案
- 阅读Decoupled Spatial-Temporal Attention Network for Skeleton-Based Action Recognition
- 进军IT与安全行业：推荐学习路线图
- clickhouse 离线安装
- 均衡的轻薄性能旗舰 — Razer Blade15 长测