【自学与引导】 大数据技术 技能课程总结篇
本文是个人分类『数据科学与大数据技术』的第一篇，技术学习总结篇。
———————————————————————————————————————————————————————
数据科学与大数据技术，专业代码080910T
背景：2016年2月，教育部首批中国三所高校开设的这门本科专业。
科目范畴：交叉学科，三大支撑性学科：计算机学、信息科学与统计学。
拓展性学科：主要看日后从事的领域场景，比如经济、金融，生物、医学，社会学管理学等等。
市场岗位
1、大数据的系统架构（掌握计算机体系结构、网络架构、编程范式、文件系统、分布并行处理）
2、大数据的系统分析（人工智能、机器学习、数理统计、矩阵计算、优化方法）
3、hadoop开发（大数据存储问题）
4、数据分析（至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门，至少能用Acess等进行数据库开发，至少掌握一门数学软件如matalab、mathmatics进行新模型的构建，至少掌握一门编程语言。优秀的分析师可以掌握业务、管理、分析、工具、设计兼顾）
5、数据挖掘（数学知识要强一些，编程语言要掌握Java、Python）
6、大数据可视化（有点高级哈哈，涉及D3啊R啊等一些编程语言和Excel以及一些可视化工具，可以自行查阅一下或者看下面提及到的技能图谱）
下图是StuQ所总结的大数据工程师所掌握的技能图谱：
本科知识体系
数学基础：
1、数学分析，华东大的教材，习题是谢惠民版的<数学分析习题课讲义>
2、高等代数，蓝以中版。
3、离散数学，"十二五"规划的邓辉文<离散数学第三版>+配套的离散数学习题解答。
或是著名屈婉玲老教授的离散数学第三版+配套的离散数学习题解答与学习指导第三版。
4、概率论与数理统计，经典教材浙大第四版。
计算机基础：
1、编程语言（一般高校是c/cpp程序设计入门，但java和python基础是必须的，我个人认为javaee和大数据没什么联系，只不过是java语言在web上做的开发，当然作为科班也不得不学，就全当对Java的扩充了。html了解、json看懂）
2、Linux（科班学的是操作系统原理，非网络专业都没接触过，但感觉这个已经成为了企业标配，学大数据也得会Linux基本命令，操作管理和shell编程）
3、数据库原理（知其原理还是挺重要的，用mysql操作语句是基础）
4、数据结构（掌握链、队列、链表散列表、树、图，c和cpp没学好比如我就只能看java版了QAQ）
5、算法（我感觉王宏志的大数据算法挺不错的，日后有需要还得再补，算法是灵魂）
然后是一些基本技能/知识。
6、JDBC java程序与数据的接口，应该算在Java SE体系里了。
7、正则表达式 文本模式，动态处理
8、git，GitHub 版本控制工具 https://www.zhihu.com/question/20070065/answer/30521531
9、maven java开发的项目自动化构建工具
知识性补充：
有人说，操作系统、编译与计算机组成原理在三门，你对它们的理解决定了你水平的高低。
不谈正确性，但足以有一定的重要性。
UML
计算机网络和汇编，一个是网络的相关知识普及，一个是底层编程原理的理解。大概了解个什么前端后台编程，客户端与服务器的交互，tcp/ip协议，网络安全信息加密知道个什么REA啊DES啊哈希算法Md5密钥啊之类的这些常见的。
接着进入大数据技术篇。
由于未学习完，不好总结，未完待续……
Hadoop、HDFS系统，MapReduce原理，Hive数据库查询函数，Nosql
Hbase基础API查询，Sqoop，Scala，Spark基础分布式计算Spark SQL，
Spark Graphx，pyshark
Anaconda、jupyter notebook，Python，Python库NumPy、Pandas，
Python扒取，采集，清洗。Elasticsearch, Logstash, Kibana（ELK）
实时处理
Kafka，confluent，Spark Streaming，Flink，Tableau，d3.js，Matplotlib，
Flume，Storm
离线处理
Atlas，Ranger，kafka，NiFi，ETL，Oozie，机器学习模型，Cassandra，redis
Tableau
系统管理与安全
认证，授权，审计，数据保护。
【自学与引导】 大数据技术 技能课程总结篇相关推荐
- 大数据技术之Canal入门篇
大数据技术之Canal入门篇 文章目录 大数据技术之Canal入门篇 写在前面 第 1 章 Canal 入门 1.1 什么是 Canal 1.2 MySQL 的Binlog 1.2.1 什么是 Bin ...
- 大数据技术背景介绍（开号篇）
1.什么是大数据? 大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样 ...
- 大数据技术技能分析大赛——第一章 python数据分析概述
目标:掌握python,进行数据处理.统计分析.回归建模和数据可视化. 教材:<大数据分析务实初级教程(python)## 标题> 第一章 python数据分析概述 1.数据分析概述 1 ...
- 大数据技术技能分析大赛培训——数据分析模块
Python数据分析模块 1.Numpy模块 是Python语言的一个拓展程序库,支持多维数组和矩阵计算,此外也针对数组运算提供大量的数学函数库.Numpy功能非常强大,支持广播功能函数,线性代数运算 ...
- 大数据技术下面向企业需求的高校应用型人才培养课程体系设计
引 言 当前高校人才培养存在教学内容与社会需求脱节.学生知识链碎片化.学生知识内化低效化等问题.传统的专业知识学习领域确定,更多依靠学科带头人个人或专业建设团队主观的经验与感受,即停留在采用" ...
- 新工科背景下大数据专业导论课程的改革与探索
新工科背景下大数据专业导论 课程的改革与探索 张祖平 中南大学计算机学院,湖南 长沙 410083 摘要:在申报与建设数据科学与大数据技术专业的热潮中,专业培养体系与相关课程大纲一直是各个高校体现 ...
- 【资讯】辉煌十载！BDTC 2017 中国大数据技术大会在京盛大召开
12 月 7 - 9 日,由中国计算机学会主办,CCF 大数据专家委员会承办,中国科学院计算技术研究所.中科天玑数据科技股份有限公司.CSDN 协办的 2017 中国大数据技术大会(BDTC 2017 ...
- 数据科学与大数据技术怎么样?
数据科学与大数据技术隶属于"工学专业门类-计算机类专业类"下的一门学科. 数据科学与大数据技术专业设立时间并不长,主要是研究计算机科学和大数据处理技术等相关的知识和技能,从大数据 ...
- 大数据技术 学习笔记
内容来自:大数据技术 视频 课程目标 课程模块 第一讲 大数据概念及计算简介 要求:对本课程教学目标.内容.方式做一个全面概要介绍 内容:了解数据科学的发展背景和要解决的问题,介绍大数据概念和再现代服 ...
- 大数据技术怎么自学?大数据开发如何自学?
大数据技术怎么自学?大数据开发如何自学? 我们在学习大数据开发前需要先找到适合自己的方式方法,首先需要审视一下自身的情况,是否是以兴趣为出发点,对大数据是不是自己是真的感兴趣吗,目前对大数据的了解有多 ...
最新文章
- P4779 【模板】单源最短路径（标准版）（dijkstra模板）
- JAVA集合框架包含的内容
- 移动相关HTML设置
- php调用其它控制器,TP框架控制器里面怎么调用另一个控制器的代码
- 强化学习笔记：Policy-based Approach
- 使用c++查看linux服务器某个进程正在使用的内存_Linux 系统管理
- node.js express架构安装部署
- Keras-Sequential模型（2）
- java模拟键盘操作，java自动化操作
- Unity3D客户端实时同步技术
- 根据经纬度获取地理位置 和 根据地址获取经纬度
- 水平居中和transform: translateY(-50%) 实现元素垂直居中
- 根据显卡ID识别显卡型号
- PyG自定义数据集学习笔记（持续更新
- 怪兽大乱斗：进入苹果推荐的Creator独立游戏
- 恐怖的计算机病毒,电脑上突然出现恐怖病毒，有没有吓到你
- 菜鸟程序员如何快速进阶成为编程老司机？
- 海量存储检索原理系列文章
- golang处理excel表格
- 深度学习tensorflow之手势识别历史使用