大数据 - 第一课：安装CenOS7

说在前面，pf老师真的好有耐心呀，点赞。这才是猛男该有的样子。

课前公告

大数据，R语言，python……数据量过大（以T为单位），Hadoop平台
Hadoop平台：分布式存储即HDFS
MapReduce计算方法（先打散数据），
流式存储方式，增删改查（不删不查，操作简单速度快），是覆盖的过程，64M，不需要长时间的寻址，存读都是流式的即要按顺序不能从中间开始，并不绝对，开源可设置（我们的电脑是块式，存储到磁盘当中的某一块，每块默认4k ）
节点两种NameNode（一般只有一个，ServerGUI，消耗较大，内存占用较大） & DataNode（有好多个，可以不装SeverGUI）

Hadoop单节点安装
安装之前要先装Java，两者有依赖关系
Spark和Java、Hadoop的版本都有依赖关系
确定版本再安装：Spark（稳定版）->Hadoop->Java

CentOS7 = Redhat（花钱买服务，按时间，源码公开/提供10年有效期）
（没有任何保障，提供软件更新）
Ubuntu 一般提供5年服务，不同版本变化非常大（为了适应图形界面）14.04,16.04,18.4
Spark （主流）基于内存运算，基于Hadoop

第一节课做的事情就是安装CenOS7，在这之前，你要下载好这个安装文件 & VMware

接下来正文开始

首先右键以管理员身份运行VMware,点击创建新的虚拟机（画质有点糊是因为上课截的是老师的笔记呸是屏幕

推荐）使用典型，点击下一步

选择安装介质，点击下一步

给虚拟机起名字（按自己喜好来
选择放置位置，第一个考虑是把虚拟机与宿主机放到不同的物理硬盘上，
第二个考虑是硬盘读写速度

此电脑右键，管理（打开之后点磁盘管理，查看自己电脑的磁盘容量&运行速度

建议硬盘空余空间>40G容量

建议最大磁盘大小>40G(因为这个节点除了要安装集群文件，还要安装开发系统)//将虚拟磁盘存储为单个文件（运行速度快）

为了安装速度比较快，点击“自定义硬件”，根据自己的电脑配置，选择内存大小和CPU核心数

电脑运行内存8G//建议内存选择2G（2-48MB），其他节点1G
处理器数量4个（显示8个因为双线程

//建议处理器数量2个，一定要勾上“虚拟化Intel VT -X/EPT 或 AMD-V/RVI（V）”

设置完成，关闭，开始安装进程

鼠标点击界面，按键盘上的“i“键，回车开始安装（如果要释放鼠标，按”alt+ctrl“组合键。

选择安装过程中的语言，点击continue

出现这个界面后，需要等待系统进行安装前的检测，稍等片刻，看看哪个项目还有感叹号（需要手工处理）

点击该项目，进行分区选项

不需任何改动，全部使用默认选项，点击“Done“
点击图示位置，选择安装软件的内容

NameNode选择“Server with GUI“，然后点击”Done“，系统会再次进行检测，检测完成之后点击”Begin Installation“。进行安装

点击“ROOT PASSWORD“，设置root密码，一定要记住（记不住只能重装了，所以必须记住），设置完之后点击”USER CREATION“，设置用户名和密码，要勾选“Make this user administrator”，将不能够对系统进行相应设置，点击了可以给该用户相应权限，

设置完之后点击“Done”，系统进行安装。

（大概需要五分钟）安装完成后点击“Reboot”按钮重启

点击图中显示，勾线I accept…，接受协议。

GPLv2自由软件协议（可以拷贝使用修改发行，可以卖服务不能卖产品，修改之后要求继承GPL协议，要上传到社区供大家分享），点击“FINISH …”

登入，选择使用语言，建议使用英语（汉语目录名输入较慢，操作不方便，厉害的人都用英语）

设置完了之后不能上网，

因为网络没有链接“Wired Off”点击边上的三角箭头，选择“connect”，///图标发生变化

验证可以上网之后，点击最下面的“我已完成安装”，VMware将自动安装一些工具

完：））笑出双下巴

大数据 - 第一课：安装CenOS7相关推荐

大数据第一课（满分作业）——泰坦尼克号生存者预测（Titanic - Machine Learning from Disaster）
大数据第一课(满分作业)--泰坦尼克号生存者预测(Titanic - Machine Learning from Disaster) 1 项目背景 1.1 The Challenge 1.2 What ...
《大数据实践课》开创实践教学新模式：清华大数据能力提升项目特色课程系列报道之一
2014年4月,清华大学顺应时代潮流成为全国第一批成立大数据研究机构的高等学府.四年来,清华-青岛数据科学研究院(以下简称:数据院)与研究生院共同设计组织实施了以大数据能力提升项目为主的大数据人才培养 ...
gblfy大数据技术之安装CentOS系列
gblfy大数据技术之安装CentOS系列 1检查BIOS虚拟化支持(可以先执行第二步,如果不支持再回来设置) 2新建虚拟机 3新建虚拟机向导 4创建虚拟空白光盘 5安装Linux系统对应的CentO ...
2022年清华大学大数据研究中心 | 招募夏季学期《大数据实践课》合作企业
一.大数据研究中心简介清华大学大数据研究中心于2018年9月成立,是清华大学建设世界一流大学.鼓励大数据领域的学科交叉的重要举措,是深入推进科研体制机制改革的重要里程碑.大数据研究中心发挥清华大学多 ...
2021年夏季学期“清华大学大数据能力提升项目” 招募《大数据实践课》企业合作项目...
什么是大数据能力提升项目? 在全球大数据浪潮中,2014年清华大学大数据能力提升项目依托信息学院.经管学院.公管学院.社科学院.交叉信息研究院.五道口金融学院.深圳研究生院共7个学院协同共建,通过多学 ...
招募 | 《大数据实践课》企业合作项目，2020年夏季学期“清华大学大数据能力提升项目”...
什么是大数据能力提升项目? 在全球大数据浪潮中,2014年清华大学大数据能力提升项目依托信息学院.经管学院.公管学院.社科学院.交叉信息研究院.五道口金融学院.深圳研究生院共7个学院协同共建,通过多学 ...
大数据及Linux安装
大数据及Linux安装大数据背景现在的社会发展相当迅速,科技发达,信息流通,使得人们之间的交流越来越密切,生活也越来越方便,在智能手机.智能穿戴设备基本普及的高科技时代的背景下,大数据应运而生. ...
清华大学《大数据实践课》总结交流会成功举行
11月4日,清华大学大数据能力提升项目<大数据实践课>总结交流会于线上成功举行.来自北京妇产医院.北京同仁医院.赋乐科技.网帅科技的企业导师,授课教师软件学院闻立杰副教授,课程助教.学生代 ...
大数据第一季--Hadoop（day5)-徐培成-专题视频课程
大数据第一季--Hadoop(day5)-1777人已学习课程介绍大数据第一季--Hadoop(day5) 课程收益大数据第一季--Hadoop(day5) 讲师介绍 ...

大数据 - 第一课：安装CenOS7

大数据 - 第一课：安装CenOS7相关推荐

最新文章

热门文章

大数据 - 第一课 ： 安装CenOS7

大数据 - 第一课 ： 安装CenOS7相关推荐

最新文章

热门文章

大数据 - 第一课：安装CenOS7

大数据 - 第一课：安装CenOS7相关推荐