[大数据技术与应用省赛学习记录一]——软件准备
@JIAQI
第一章 大数据平台环境搭建
在指定主机上完成Hadoop完全分布式、Spark、Flink、kafka、flume的安装配置
赛前准备
主办方要求使用以下相关版本软件环境，仅供参考：
| 设备类型 | 软件类别 | 软件名称、版本号 |
|---|---|---|
| 竞赛服务器 | 竞赛环境大数据集群操作系统 | Centos7 |
| 大数据平台组件 | unbuntu18.04 | |
| Hadoop2.7.7 | ||
| Hive 2.3.4 | ||
| Spark 2.1.1 | ||
| Kafka 2.0.0 | ||
| Redis 4.0.1 | ||
| Flume 1.7.0 | ||
| Flink 1.10.2 | ||
| JDK 1.8 | ||
| My SQL 5.7 | ||
| 开发客户端 | PC操作系统 | Ubuntu 81.04 64位 |
| 浏览器 | Chrome | |
| 开发语言 | Scala 2.11 | |
| 开发工具 | IDEA 2019(Community Edition) | |
| Visual Studio Code 1.58 | ||
| 数据可视化组件 | Vue.js 3.0 | |
| Echarts 5.1 | ||
| 文档编辑器 | WPS Linux版 | |
| 输入法 | 搜狗拼音输入法 Linux版 |
以下为LINUX版本相关软件的名称及下载地址：
- CentOS-7-x86_64-DVD-2009.iso
- hadoop-2.7.7.tar.gz
- apache-hive-2.3.4-bin.tar.gz
- spark-2.1.1-bin-hadoop2.7.tgz
- kafka_2.11-2.0.0.tgz
- redis-4.0.1.tar.gz
- apache-flume-1.7.0-bin.tar.gz
- flink-1.10.2-bin-scala_2.12.tgz
- jdk-8u311-linux-x64.tar.gz
JDK下载需要登陆帐号哦，也可以去其他博主页面或网盘下载相关JDK; - mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz
- ubuntu-18.04.6-desktop-amd64.iso
- Chrome
- IntelliJ IDEA 2019
- scala-2.11.0.tgz
- Visual Studio Code1.62
- Vue相关
- Echart相关
- WPS Linux版
- 搜狗拼音输入法 Linux版
相关系统安装及linux相关指令请看以下链接
Linux系统虚拟机安装 Centos && Ubuntu
Liunx物理机安装——建议使用rufus，制作起来超级简单！！！
Linux相关指令学习点这里；
[大数据技术与应用省赛学习记录一]——软件准备相关推荐
- [大数据技术与应用省赛学习记录二]——模块一（HADOOP完全分布式集群搭建）
**在操作前,先梳理一下HADOOP完全分布式需要做些什么,不然像无头的苍蝇一样,永远不知道做什么.因为我本人比赛是一台服务器Centos 7,与三台客户端Ubuntu 18.04,所以以物理机的角度 ...
- 2021年全国职业院校技能大赛 “大数据技术与应用”—模拟赛题（三）
2021年全国职业院校技能大赛 "大数据技术与应用" --模拟赛题(三) 文章适合了解大数据技术与应用技能大赛 赛题.文章在编写过程中难免有疏漏和错误,欢迎大佬指出文章的不足之处: ...
- 2021年全国职业院校技能大赛 “大数据技术与应用”—模拟赛题（二）
2021年全国职业院校技能大赛 "大数据技术与应用" --模拟赛题(二) 文章适合了解大数据技术与应用技能大赛 赛题.文章在编写过程中难免有疏漏和错误,欢迎大佬指出文章的不足之处: ...
- 2021年全国职业院校技能大赛 “大数据技术与应用”—模拟赛题（一）
2021年全国职业院校技能大赛 "大数据技术与应用" --模拟赛题(一) 文章适合了解大数据技术与应用技能大赛 赛题.文章在编写过程中难免有疏漏和错误,欢迎大佬指出文章的不足之处: ...
- 大数据技术之_23_Python核心基础学习_01_计算机基础知识 + Python 入门 （9.5小时）
大数据技术之_23_Python核心基础学习_01 第一章 计算机基础知识 1.1 课程介绍 1.2 计算机是什么 1.3 计算机的组成 1.4 计算机的使用方式 1.5 windows 的命令行 1 ...
- 大数据技术之_23_Python核心基础学习_04_ 异常 + 文件（3.5小时）
大数据技术之_23_Python核心基础学习_04 第七章 异常 7.1 异常的简介和异常的处理 7.2 异常的传播 7.3 异常对象 7.4 自定义异常对象 第八章 文件 8.1 文件--打开 8. ...
- 关于大数据技术原理与应用的学习（6）
学习目标: 大数据技术原理与应用 学习内容: 6云数据库 6.1概述 6.2产品 6.3UMP系统 6.4Amazon云数据库 6.5微软云数据库SQL Azure 学习时间: 2022/03/31 ...
- 想深入理解大数据技术 有哪些书籍值得学习
想要学好大数据开发技术,除了必要的学习路线和学习视频教程之外,辅助我们深入学习理解的还有书籍.想深入理解大数据技术,有哪些书籍值得学习?下面千锋老师给大家推荐一些学习大数据的书籍,希望能对大家的学习带 ...
- 关于大数据技术原理与应用的学习（１）
学习目标: 大数据技术原理与应用 学习内容: 大数据概述 1.1大数据时代 1.2大数据的概念和影响 1.3大数据的应用 1.4大数据的关键技术 1.5大数据与云计算.物联网的关系 学习时间: 202 ...
最新文章
- eeglab中文教程系列(8)-选择数据的epochs并进行比较
- 从URL中获取搜索关键字
- python numpy.ones(shape, dtype=None, order=’C’) empty(shape[, dtype, order]) empty_like(a) 空数组 全1数组
- 《算法之道》精华 经典算法部分
- 一句话征服了美国人，这位饱受争议的数学博士竟从未上过学？
- 实用、酷炫的可视化，你用10小时，同事用10分钟，差距在哪？
- [源码]java.lang.reflect.Proxy
- 机器学习集成模型学习——Bagging集成学习（三）
- Python doc转docx
- windows系统bat批处理 清理注册表与蓝屏补丁
- 【整理】超细节的BERT/Transformer知识点
- Linux Mint---开启桌面三维特效
- c#物联网_「物联网架构」Apache-Kafka：物联网数据平台的基石
- FastStone Capture 下载
- 微信公众号、订阅号、服务号、企业号的区别
- Linux PCI总线驱动-1
- state_dict详解--存放训练过程中需要学习的权重和偏执系数
- 后端Java人必备：30个优化SQL的良心建议
- MySQL创建触发器的时候报1419错误( 1419 - You do not have the SUPER privilege and binary logging is enabled )
- 程序员从来没给丈母娘买礼物，真相竟然令人沉默