大数据计算技术

  • 大数据计算体系层次
    • 1数据应用系统
    • 2数据计算处理系统​​​​​​​​
    • 3数据存储系统
      • 3.1功能
        • 3.1.1数据清洗、抽取和建模
          • 3.1.1.1建模
            • 3.1.1.1.1概念模型
            • 3.1.1.1.2逻辑模型
            • 3.1.1.1.3物理模型（存储）
        • 3.1.2数据存储架构
        • 3.1.3数据仓库和数据服务
        • 3.1.4统一数据接口
      • 3.2层次单元
        • 3.2.1分布式文件系统：提供物理存储架构
        • 3.2.2分布式数据库：not only sql database

大数据计算体系层次

1数据应用系统

2数据计算处理系统​​​​​​​​

​​​​​​​​

计算模型（计算模式）的概念：
计算模型针对领域问题提出技术解决方案的基础模型、数据结构和算法

其中不同的计算模型的衡量标准：

3数据存储系统

3.1功能

3.1.1数据清洗、抽取和建模

3.1.1.1建模


​​

3.1.1.1.1概念模型

（定义基于业务的实体类）

3.1.1.1.2逻辑模型

（给出实体类的更多表的细节（主键、外键等）在纸上表达的对数据（关系等）的抽象，数据库提供了数据的逻辑存储结构）

3.1.1.1.3物理模型（存储）

（ 把实体数据存储到磁盘或者内存中，分布式文件系统提供数据的物理存储结构）

3.1.2数据存储架构


3.1.3数据仓库和数据服务

3.1.4统一数据接口


传统的数据库接口：ODBC、JDBC


问题：如果数据库既需要支持java编写的应用程序，也要支持c++写的程序，所以：


目前的大数据采用的是：统一数据读写接口

3.2层次单元

3.2.1分布式文件系统：提供物理存储架构

（对数据的物理存储架构，如果没有，则无法长期、持久保存数据）
例如：HDFS、GFS都采用主从架构
主节点管理一组从节点
数据划分为小的数据块，又生成备份，都会存储到文件系统中

3.2.2分布式数据库：not only sql database

大数据计算技术架构解析相关推荐

  1. 大数据平台架构浅析——以讯飞大数据平台Odeon为例

    文章目录 大数据平台架构解析--以讯飞大数据平台Odeon为例 定义 功能 数据采集 数据开发 数据分析 数据编程 补充 大数据平台架构解析--以讯飞大数据平台Odeon为例 定义 Odeon大数据平 ...

  2. 大数据开发架构——调度系统的分类解析

    调度系统的分类解析 一.什么是调度系统 二.为什么需要调度系统 三.调度系统的两大种类 1.资源调度系统 2.作业调度系统 四.作业调度系统的两大种类 1.定时分片类作业调度系统 2.DAG工作流类调 ...

  3. 多图技术贴：深入浅出解析大数据平台架构

    目录: 什么是大数据 Hadoop介绍-HDFS.MR.Hbase 大数据平台应用举例-腾讯 公司的大数据平台架构 "就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在 ...

  4. 《程序员》11月精彩内容：大数据平台架构与技术实践

    本期<程序员>呈现大数据平台架构与技术实践精彩内容,汇聚来自去哪儿.游族网络.链家网.万达金融等公司的技术专家,将带领读者共同探讨热门技术应用和实践优化,深入解析蕴藏的数据价值,展现时下大 ...

  5. 软件架构设计原则和大数据平台架构层

    1.软件架构设计的六大原则: 1)"开-闭"原则(OCP) Software entities should be open forextension, but closed fo ...

  6. 大数据实验报告总结体会_建设大数据中台架构思考与总结

    简介 本文介绍完善的大数据中台架构了解这些架构里每个部分的位置,功能和含义及背后原理及应用场景. 帮助技术与产品经理对大数据技术体系有个全面的了解. 数据中台定义:集成离线数仓与实时数仓,并以多数据源 ...

  7. 二, 大数据基础架构Hadoop-HDFS入门和基本操作(基本组成, Shell操作, API操作, 读写流程) hf

    一, HDFS概述 1.1 HDFS的产生背景和定义 随着数据量越来越大,我们需要把文件分布存储到多台计算机上,分布式文件管理系统作为一种管理多台机器上文件的系统应运而生, HDFS是其中的一种. H ...

  8. 大数据平台架构的层次划分

    1. 数据源层:包括传统的数据库,数据仓库,分布式数据库,NOSQL数据库,半结构化数据,无结构化数据,爬虫,日志系统等,是大数据平台的数据产生机构. 2. 数据整理层:包括数据清洗.数据转换.数据加 ...

  9. ZUCC_大数据计算技术_大作业

    大数据计算技术大作业 课程名称 大数据计算技术 实验项目名称 大作业 项目目的 天气数据分析,通过网络爬虫(自己编写网络爬虫程序),网址:https://www.tianqi.com,点击" ...

  10. 曙光大数据战略：解析XData一体机产品

    曙光大数据战略:解析XData一体机产品 2013-06-15 05:20    [中关村在线 原创] 作者:王迪     评论(14) 如今,在巨大的行业变革驱动下,各大厂商都在不断研发新的产品来应 ...

最新文章

  1. IDEA自动生成对象所有set方法
  2. 学计算机一般要off,必须要学的电脑知识
  3. maven 指定jdk版本和编译版本.
  4. 生成验证码的流程分析.
  5. 如何修改pfpj的服务器,如何更改布局？
  6. fluent design_Fluent Design单选按钮，复选框，选择框，Java菜单
  7. 【MFC系列-第32天】控件自绘技术
  8. python调用usb摄像头黑屏_ORB-SLAM2编译安装和USB摄像头例程运行
  9. python自带的用于解析HTML的库HtmlParser
  10. python优先队列,队列和栈
  11. 链路层发现协议LLDP
  12. Python-openvn的初步理解（1）
  13. 安川机器人仿真软件MOTOSIM EG
  14. 翻译: 3.4. Softmax 回归 pytorch
  15. Vue框架的初识入门
  16. 2007年生日祝福：宝贝，谢谢您陪伴我走过人生风风雨雨，祝您2007年生日快乐！
  17. 构建信用卡反欺诈预测模型——机器学习
  18. 对话汇医慧影联合创始人郭娜：人工智能是分级诊疗的必然抓手
  19. python爬取知乎热榜了解时事
  20. SVN: an error occurred and the operation could not be completed

热门文章

  1. matlab停止运行命令_matlab终止运行命令
  2. __attribute__ 关键字小结
  3. Linux(Ubuntu系统)安装yum及源的更新(详细操作+文字描述！！！)
  4. Pdfarranger：开源的 PDF 分割和合并工具
  5. tomcat启动过程报the JDBC Driver has been forcibly unregistered问题的修复的一种方法
  6. i3型3D打印机制作详解——Marlin固件中文介绍
  7. Separating Skills and Concepts for Novel Visual Question Answering 论文笔记
  8. Nacos 集群 一致性协议实现之`Distro`协议浅析
  9. 刀塔传奇战斗系统分析
  10. Oracle设置自增序列