入门了解

最近在大数据分析岗位实习,因为尚在入门所以就只能先做一个sqlboy啦,然后慢慢学习一点大数据相关开发的工作.

大数据开发与后端的区别

传统的后端java一般是用的spring全家桶,处理的数据量有上限,基于传统的数据库的CRUD与前端查询的接口

CRUD
增加(Create)、检索(Retrieve)、更新(Update)和删除(Delete)

数据库可以抽象为三个部分:
数据接入部分
数据计算部分(数据计算引擎)
结果存储部分

大数据开发需要会什么

说实话因为专业是智能,第一次听说需要懂这些东西

一些组件

Doug Cutting开山鼻祖首创Hadoop
消息队列组件KafKa(乍一听有点像那个作家卡夫卡)
数据存储组件Hadoop HDFS
分布式文件系统的鼻祖
分布式计算引擎Spark
先进的思想
高效的编程模型
完备的软件生态
分布式仓库HIVE
分布式数据库HBASE
分布式搜索引擎Elasticsearch

开源的数据计算引擎

MapReduce、Tez暂时不用考虑
(只是作为OLAP的内置计算引擎)
Strom(只是单一的流式处理没有批处理)
Spark兼容性更好
Flink

大数据入门为什么要先学计算引擎

不需要额外的设施
只需要一个IDE工具引入对应的jar包
地位核心承上启下决定运行效率
上接存储数据的数据源Kfaka、HDFS、Hive
下接结果存储的数据库Hbase、Elasticsearch、Mysql
使用频繁
与其他组件更紧密,可以读文件系统、数据库、消息队列,只要能存储都有对应的读api和写api

[持续更新]大数据岗位实习日志相关推荐

2021 Java后端+大数据暑期实习大厂面经
目录高频考点操作系统篇 1.进程与线程的区别[常问] 2.进程的通信方式?[常问] 3.操作系统调度方法?[腾讯] 4.缓存算法(页面置换算法)?[字节.腾讯] 5.什么是死锁?如何避免死锁? 6 ...
Cris 玩转大数据系列之日志收集神器 Flume
Cris 玩转大数据系列之日志收集神器 Flume Author:Cris 文章目录 Cris 玩转大数据系列之日志收集神器 Flume Author:Cris 1. Flume 概述 1.1 什么是 ...
2017年，这两个大数据岗位一定会火！
讨论哪个大数据岗位会火之前,我们先来简单的分析一下大数据领域的行情,这里重点说一下当前的情况. 2016年,互联网行业遇到了资本寒冬,抛开大公司不说,一些中小型的公司不断的缩减预算,因为很难融到钱. ...
大数据岗位薪资了解一下~
大数据是IT界的行业术语,本名叫巨量数据集合.大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优 ...
实习证明| 大数据在线实习项目意义
实习,在实践中学习,任何的知识源于实践,归于实践,最终也要通过实践进行检验,它是衔接学生在校学习与步入社会两个阶段的重要桥梁.一个好的实习机会,会帮助学生积累工作经验.验证职业选择.提升综合素质.但是 ...
大数据产品经理python_大数据岗位要求之数据产品经理
继上篇介绍了数据分析师岗位的要求,这篇介绍数据产品经理的岗位要求(距上篇的更新时间有点久),还是先从几个大厂数据产品经理原始的岗位要求看起. 滴滴 1.本科以上学历: 2.2年以上数据分析.数据产品等 ...
大数据在线实习项目能收获什么呢？
大数据在线实习项目提供在线大数据项目,参与真实企业项目,可提供实习证明. 项目实习过程会根据项目背景.项目目标.项目数据来逐一展开,一个项目的项目周期大概为4周时间,同时也可以根据自身时间条件来调整. ...
大数据行业年薪几十万，这些大数据岗位薪资了解一下
大数据是IT界的行业术语,本名叫巨量数据集合.大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化 ...
大数据岗位校招Spark面试总结
Hive 面试总结传送门:大数据岗位校招Hive面试总结 Hadoop 面试总结传送门: 大数据岗位校招Hadoop面试总结继上一篇Hive相关的面试总结后,本篇总结下Spark相关的问题~ 1.S ...

[持续更新]大数据岗位实习日志

入门了解

目录

大数据开发与后端的区别

大数据开发需要会什么

一些组件

开源的数据计算引擎

大数据入门为什么要先学计算引擎

[持续更新]大数据岗位实习日志相关推荐

最新文章

热门文章