Hadoop大数据开发基础项目化教程
项目一 大数据时代
大数据定义：
所谓大数据( Big Data ),或称巨量资料,指的是“所涉及的资料量规模巨大到无法通过
目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更
积极目的的技术资讯。”
大数据核心特征：
(1)数量大( Volume )
(2)种类多( Variety )
(3)速度快( Velocity )
(4)价值量太( Value )
(5)真实性( Veracity )
大数据体系架构
大数据的核心技术分为数据采集、蜀统计分析和数据可视化。
(1)数据采集
移动互联网、社交网络等每天产生的各种数据表面看并没有什么意义,而且既有结构化的,又有归类、整合出有用的数据才有实际意义,这就是数据通过爬虫工具、 ETL 工具等获取,然后经过清洗数据集市中,再综合起来进行分析。数据采集包招系型数据库的接入和应用程序的接入等。
(2)数据预处理
数据预处理是指对采集后的数据进行主要处法,有数据清理、数据集成、数据变换及数据归用,大大提高了数据挖掘模式的质量,降低了实际挖掘的时间
(3)数据存储
由于海量的数据存储在一台机器显然行不通机器。因此数据存储涉及分布式文件系统和分布式数据库
(4)数据清洗
数据清洗是过滤掉那些不符合要求的数据。错误的数据或者是重复的数据。通常使用 Mapl 后续进行统计分析。
(5)数据统计分析
使用 Hive 对清洗后的数据进行统计分析。 Hive 的工作核心就是把 SQL 语句翻译成 MapReduce 程序,可以将结构化的数据映射为一张数据库表,并提供 HQL ( Hive SQL )查询功能。
(6)数据可视化
数据可视化,就是指将结构或非结构数据转换成适当的可视化图表,然后将隐藏在数据中的信息直接展现于人们面前。
大数据技术分类
(1)大数据接入技术
大数据接入包括实时数据接入、文片数据接入、视屏数据接入。典型代表不
(2)大数据存储技术
天数据存储技术包括结构化数据存表有 HDFS 、 HBase 、 Hive 、S3、 Mongo
(3)大数据分析挖掘技术
大数据分析挖掘技术包括数据的离识别、机器学习等。典型代表有 MapR Mahout 等。
(4)大数据共享交换技术
大数据共享交换技术包括数据接入、据导出等。典型代表有 Kafka 、 ActiveM
(5)大数据展现技术
大数据展现技术包括文字展示和图开达图、 K 线图、箱线图、热力图、关系图、 A 型代儿 Beknln
大数据存储基础
(1)行存储
所谓行存体是以一行记录为单位进行存储。
(2)列存储
列存储是相对干传统关系型数据库的行存储来说的。列存储是以列数据集合方式存储,可以把列存储形象地理解为将行存储旋转了90的存储方式。在大数据处理软件中, Hadoop 的 HBase 采用的是列存储。
(3)文档存储
文档存储不需要定义表的结构,存储方式可以多样化,适合存储非结构化数据。如
MongoDB 、 CouchDB 则采用文档型的行存储。文档存储支持对结构化数据的访问,但文档存储没有固定的架构。
4)键值存储
键值( Key — Value , KV )存储是按照键值对的形式组织、索引和存储。键值存储提供了基于键值对的访问方式。键值对可以被创建或删除,与键相关联的值可以被更新。键值存储适合于不涉及过多数据关系、业务关系的数据,同时能有效减少读写磁盘的次数,比如 Google 的分布式数据库技术产品 Bigtable 数据库,就是采用了 KV 存储方式。
大数据与云计算、物联网
大数据和云计算的关系,从技术上来说,有人形象地将之比喻为一枚硬币的正反面,即它们密不可分。大数据由于数据量大、安全性要求高等特点,无法用单台的计算机进行处理必须采用分布式架构进行存储、计算、处理;对海量数据进行分布式数据挖掘,必须依托示计算的分布式处理、分布式数据库和云存储、虚拟化技术等才能实现。◇
大数据的应用
(1)大数据典型应用—霍廷
华尔街“德温特资本市场”公司首席执行官保罗。霍廷每天会通过大数据分析全球数亿条微博惠户的审言。进而判断民众情端,并对其打分棒序。服据打分结果,霍廷再澳定买入还是抛出数百万美元的股果、霍廷的判断原则是如果所有人都高兴,那就买人:如果大家的焦虑情结上开,非就抛售、由此当年第一季度,公词获得了 7%的收益率。
(2)大数据典型应用亚马逊
大家都非常熟悉的跨国电子商务公司重马进,它的各个业务环节都离不开“数据驱动”。不仅从每个用户的购买行为中获得信息,还将用户在其网站上的所有行为都记录下来,包括用户海览页面的停图时间、是否查看评论、搜索的关键词、浏览的商品等,进而推送更加精准信息,微发用户的消费欲望。
(3)大数据典型应用—城管通
城管通,又称数字城管系统,是一种城管执法人员用来执法的高科技移动执法系统。该系统运用 GIs 地理信息采集、 GPs 卫星定位等技术,配合 PDA 移动信息终端, LED 显示屏等硬件设备,将城市中所有的井盏、路灯杆、公交站牌、城市雕塑等设定难一的数字编码,备注其权属部门、负责维修部门等信息一并录入电脑数据库,利用大数据处理分析群众投诉事件,通常将处理事件分为七个步骤,即事件发起、派单,接单、到达现场、处置、结论、评估,更快、更好提高了城市管理的水平和能力,达到了真正的城市管理数字化、信息化。现已在江苏、内蒙古等全国多地投入使用。
(4)大数据典型应用一智能公交站牌
智能公交站牌是一项基于大数据技术的城市公共交通智能化研究项目,主要估翻下一班公交车离该站台的位置、车上乘客数、拥挤程度、到达时间等信息,使市民合理安排候车时间、及时调整出行路线、提高出行速率。日前己在北京、上海、哈尔滨等全国多个城市使用。
(5)大数据典型应用金融分析
目前,由“互联网金融”催生的大量的金融或类金融机构,为产业转型起到了一定的助推作用,为更好地获得最大利润,各大金融机构纷纷脑洞大开。阿里公司针对淘宝网上中小企业的交易状况筛选出财务健康和诚信经营的企业,并对其提供无担保贷款。日前,阿里公司已放贷款高达千亿元,坏账率仅为0.3%
(5)大数据典型应用一一医疗决策
随着我国医疗体系改革的不断深入,医疗卫生的信息化建设进程也在不断加快,医疗数据的类型趋向多样化,规模庞大、海量数据、非结构化数据已对传统医疗体系提出了挑战。医疗大数据正彰显出强大的潜在价值,医生借助大数据技术分析得到的结果,进行有针对性的治疗与排查,将在临床操作、临床决策支持系统、医疗数据透明度、远程病人监控以及对病人档案的分析等方面得到广泛应用,既减轻了医务科研工作者的大量烦琐工作,又开阔了医务工作者的分析思路与治疗方案。
Hadoop大数据开发基础项目化教程相关推荐
- Hadoop大数据开发基础
项目一:大数据时代 大数据定义: 所谓大数据( Big Data ),或称巨量资料,指的是"所涉及的资料量规模巨大到无法通过 目前主流软件工具,在合理时间内达到撷取.管理.处理.并整理成为帮 ...
- hadoop大数据开发基础_Java大数据开发(三)Hadoop(2)经典的Hadoop
点击蓝字关注我 1 什么是大数据 1.Hadoop是一个由Apache基金会所开发的分布式系统基础架构 2.主要解决,海量数据的存储和海量数据的分析计算问题. 3.广义上来说,HADOOP通常是指一个 ...
- Hadoop大数据零基础高端实战培训系列配文本挖掘项目
<Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:230课时 用到技术:部署Hadoop集群 涉 ...
- Hadoop大数据零基础高端实战培训
Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标) 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:330课时 用到技术:部署Hadoop集群 涉及项目:京东商城 ...
- Hadoop大数据零基础高端实战培训视频
<Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量: 300课时 用到技术:部署Hado ...
- 计算机应用基础员工工资表,项目8 工资表数据分析 《计算机应用基础项目化教程》....
Presentation on theme: "项目8 工资表数据分析 <计算机应用基础项目化教程>."- Presentation transcript: 项目8 工 ...
- 计算机应用基础项目化教材,计算机应用基础项目化教程
<计算机应用基础项目化教程(Windows7+Office2010)/全国高职高专"十二五"规划教材>是针对高等职业院校公共基础课的改革目标而编写的,以介绍计算思维和计 ...
- hadoop大数据开发技术学习笔记第三天：（前序）MySQL数据库进阶
hadoop大数据开发技术学习笔记第三天:(前序)MySQL数据库进阶 一.回顾知识 1.myschool数据库和数据表的创建 (1)创建数据库 (2)数据库模型图 (3)创建数据表grand (4) ...
- 大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之5.即席查询Impala介绍及入门使用
文章目录 前言 1.Impala概述 (1)Impala的概念和优势 (2)Impala的缺点及适用场景 2.Impala的安装与入门 (1)准备工作 (2)制作本地yum源 (3)安装Impala ...
最新文章
- transformers、pytorch-transformers、pytorch-pretrained-bert的关系
- HashTab---Windows资源管理器的文件属性窗口中添加了一个叫做”文件校验”的标签...
- 详解JDBC与Hibernate区别
- 苹果6s解除耳机模式_出大问题！苹果或将砍掉3D Touch？
- IDA插件uEmu模拟执行
- 新康众闫顺成：数据中台建设中的得与失
- adb命令 android 串口_ADB使用linux命令查看Android的使用情况
- 为什么需要切换到在线签署文档和合同
- Vue中computed和watch的区别（面试题）
- 唯美动态个人404错误页面html源码
- 【SpringCloud】 第十篇: 高可用的服务注册中心
- 环境配置：Qt5.5+VS2013+OpenCv3.1.0+Win7(64bit)
- NBA Top Shot巨鲸17.5万美元购买的球星卡目前已值2000万美元
- mach内核和linux对比,海思Hi3511／Hi3512 Linux内核与标准内核差异说明
- win10安装应用商店版word(ump版word)
- 三极管原理-导通条件
- 计算机教育应用研究,技术教育在计算机科学与技术师范专业中的应用研究
- 5G时代能给我们带来什么？
- 使用C++实现FC红白机模拟器 Cartridge 与 Mapper（实现篇）
- 圣诞节要到了，如何制作自己的一个给头像戴帽子的小程序，请看这