Hadoop大数据开发基础

项目一：大数据时代

大数据定义：

所谓大数据( Big Data ),或称巨量资料,指的是“所涉及的资料量规模巨大到无法通过
目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更
积极目的的技术资讯。”

大数据核心特征：

(1)数量大( Volume )
(2)种类多( Variety )
(3)速度快( Velocity )
(4)价值量太( Value )
(5)真实性( Veracity )

大数据体系架构：

Hadoop 是一个由 Apache 基金会所开发的分布式 GFS ( Google File System )论文产生出来的。大数据的体到大数据平台架构、大数据处理基础架构等。
Hadoop 的核心技术都是为了把传统的单点式结变为分布式储( HDFS );把单机计算转变为分布式为分布式数据库( HBase 、 Hive 等)。
总的来说,大数据的核心技术分为数据采集、蜀统计分析和数据可视化。

(1)数据采集
移动互联网、社交网络等每天产生的各种数据表面看并没有什么意义,而且既有结构化的,又有归类、整合出有用的数据才有实际意义,这就是数据通过爬虫工具、 ETL 工具等获取,然后经过清洗数据集市中,再综合起来进行分析。数据采集包招系型加粗样式数据库的接入和应用程序的接入等。

(2)数据预处理
数据预处理是指对采集后的数据进行主要处法,有数据清理、数据集成、数据变换及数据归用,大大提高了数据挖掘模式的质量,降低了实

(3)数据存储
由于海量的数据存储在一台机器显然行不通机器。因此数据存储涉及分布式文件系统和分布

(4)数据清洗
数据清洗是过滤掉那些不符合要求的数据。错误的数据或者是重复的数据。通常使用 Mapl 后续进行统计分析。

(5)数据统计分析
使用 Hive 对清洗后的数据进行统计分析。 Hive 的工作核心就是把 SQL 语句翻译成 MapReduce 程序,可以将结构化的数据映射为一张数据库表,并提供 HQL ( Hive SQL )查询功能。

(6)数据可视化
数据可视化,就是指将结构或非结构数据转换成适当的可视化图表,然后将隐藏在数据中的信息直接展现于人们面前。

大数据技术分类:

(1)大数据接入技术
大数据接入包括实时数据接入、文片数据接入、视屏数据接入。典型代表不

(2)大数据存储技术
天数据存储技术包括结构化数据存表有 HDFS 、 HBase 、 Hive 、S3、 Mongo

(3)大数据分析挖掘技术
大数据分析挖掘技术包括数据的离识别、机器学习等。典型代表有 MapR Mahout 等。

(4)大数据共享交换技术
大数据共享交换技术包括数据接入、据导出等。典型代表有 Kafka 、 ActiveM

(5)大数据展现技术
大数据展现技术包括文字展示和图开达图、 K 线图、箱线图、热力图、关系图、 A 型代儿 Beknln

大数据存储基础:

(1)行存储
所谓行存体是以一行记录为单位进行存储

(2)列存储
列存储是相对干传统关系型数据库的行存储来说的。列存储是以列数据集合方式存储,可以把列存储形象地理解为将行存储旋转了90的存储方式在大数据处理软件中。Hadoop 的 HBase 采用的是列存储。

(3)文档存储
文档存储不需要定义表的结构,存储方式可以多样化,适合存储非结构化数据。

(4)键值存储
键值( Key — Value , KV )存储是按照键值对的形式组织、索引和存储。键值存储提供了基于键值对的访问方式。键值对可以被创建或删除,与键相关联的值可以被更新。键值存储适合于不涉及过多数据关系、业务关系的数据,同时能有效减少读写磁盘的次数,比如 Google 的分布式数据库技术产品 Bigtable 数据库,就是采用了 KV 存储方式。

大数据与云计算、物联网

大数据和云计算的关系,从技术上来说,有人形象地将之比喻为一枚硬币的正反面,即它们密不可分。大数据由于数据量大、安全性要求高等特点,无法用单台的计算机进行处理必须采用分布式架构进行存储、计算、处理;对海量数据进行分布式数据挖掘,必须依托示计算的分布式处理、分布式数据库和云存储、虚拟化技术等才能实现。◇

大数据的应用：

(1)大数据典型应用—霍廷
华尔街“德温特资本市场”公司首席执行官保罗。霍廷每天会通过大数据分析全球数亿条微博惠户的审言。进而判断民众情端,并对其打分棒序。服据打分结果,霍廷再澳定买入还是抛出数百万美元的股果、霍廷的判断原则是如果所有人都高兴,那就买人:如果大家的焦虑情结上开,非就抛售、由此当年第一季度,公词获得了7% 的收益率。

(2)大数据典型应用亚马逊
大家都非常熟悉的跨国电子商务公司重马进,它的各个业务环节都离不开“数据驱动”。不仅从每个用户的购买行为中获得信息,还将用户在其网站上的所有行为都记录下来,包括用户海览页面的停图时间、是否查看评论、搜索的关键词、浏览的商品等,进而推送更加精准信息,微发用户的消费欲望。

(3)大数据典型应用—城管通
城管通,又称数字城管系统,是一种城管执法人员用来执法的高科技移动执法系统。该系统运用 GIs 地理信息采集、 GPs 卫星定位等技术,配合 PDA 移动信息终端, LED 显示屏等硬件设备,将城市中所有的井盏、路灯杆、公交站牌、城市雕塑等设定难一的数字编码,备注其权属部门、负责维修部门等信息一并录入电脑数据库,利用大数据处理分析群众投诉事件,通常将处理事件分为七个步骤,即事件发起、派单,接单、到达现场、处置、结论、评估,更快、更好提高了城市管理的水平和能力,达到了真正的城市管理数字化、信息化。现已在江苏、内蒙古等全国多地投入使用。

(4)大数据典型应用一智能公交站牌
智能公交站牌是一项基于大数据技术的城市公共交通智能化研究项目,主要估翻下一班公交车离该站台的位置、车上乘客数、拥挤程度、到达时间等信息,使市民合理安排候车时间、及时调整出行路线、提高出行速率。日前己在北京、上海、哈尔滨等全国多个城市使用。

(5)大数据典型应用金融分析
目前,由“互联网金融”催生的大量的金融或类金融机构,为产业转型起到了一定的助推作用,为更好地获得最大利润,各大金融机构纷纷脑洞大开。阿里公司针对淘宝网上中小企业的交易状况筛选出财务健康和诚信经营的企业,并对其提供无担保贷款。日前,阿里公司已放贷款高达千亿元,坏账率仅为0.3%

(6)大数据典型应用一一医疗决策
随着我国医疗体系改革的不断深入,医疗卫生的信息化建设进程也在不断加快,医疗数据的类型趋向多样化,规模庞大、海量数据、非结构化数据已对传统医疗体系提出了挑战。医疗大数据正彰显出强大的潜在价值,医生借助大数据技术分析得到的结果,进行有针对性的治疗与排查,将在临床操作、临床决策支持系统、医疗数据透明度、远程病人监控以及对病人档案的分析等方面得到广泛应用,既减轻了医务科研工作者的大量烦琐工作,又开阔了医务工作者的分析思路与治疗方案。