Python + 大数据-Hadoop生态-Linux(一)-环境搭建和Vi
2024-04-26 16:40:41
Python + 大数据-Hadoop生态-Linux(一)-环境搭建和Vi
今日课程学习目标
1、了解Linux操作系统发展介绍、安装配置
2、掌握SSH原理机制、Linux文件上传下载
3、掌握Linux常见文件系统操作命令使用
4、掌握Vim编辑器基础使用
今日课程内容大纲
#操作系统概述
#linux系统概述
#vmware虚拟机虚拟网络+网络模式Centos7系统安装SSH免密登录 非对称加密（私钥 公钥）文件下载虚拟机的快照
#Linux常用的基础命令文件系统的操作 目录树搜索操作、解压缩管道
#vi|vim编辑器打开新建、异常处理常用命令操作插入模式编辑、保存退出
一、操作系统概述
1.1、计算机原理
- ==冯、诺依曼==结构 （普林斯顿结构）
- 核心思想：把程序当做数据存储在计算机存储设备中。按顺序读取指令执行。
- 冯、诺依曼计算机制造三个基本原则
- 采用二进制逻辑
- 程序存储执行
- 计算机由五个部分组成
- 硬件分类：
- CPU（运算器、控制器）
- 存储设备（内存、外存）
- 输入设备
- 输出设备
- 计算机软件分为软件和硬件。
1.2、操作系统与分类
- 定义：管理计算机硬件与软件资源的程序，同时也是计算机系统的内核与基石。没有操作系统称之为裸机。
- 意义：使编程变得更简单。不需要再编写程序如何去控制协调硬件工作。
- 操作系统分类
- 桌面
- 服务器
- 嵌入式
- 移动设备
二、Linux操作系统
2.1、Linux发展史
http://linuxfederation.com/complete-historical-timeline-linux-evolution/
2.2、Linux内核
- Linux操作系统=Linux内核+GNU+其他应用操作
2.3、Linux发行版本
Linux分类
个人桌面版
企业服务器版
国内最大的体系 RH 红帽系统，Centos是社区免费版本。
三、VMware虚拟机
3.1、虚拟组件
- 所谓的虚拟指的是物理上不存在，但是逻辑上存在，功能跟物理实体一样的。
#1、网卡、网络适配器连接网络的硬件设备 分为有线和无线之分 其唯一身份标识MAC地址。
#2、交换机通过网线将计算机组成局域网，同一个交换机下网络地位是一样的。整个局域网网络属性由交换机决定的。
#3、网桥扩大局域网通信距离的一种设备。网桥两边网络地位也是一样的。
#4、DHCP 动态主机配置协议设备自动的分配IP 网关DNS等属性 集中维护局域网网络。
#4、NAT服务器将不可上网的IP转换成为可以上网的IP
Q：如何去组建一个局域网？
交换机 服务器 网线
3.2、VMware3种网络模式
核心
1、这种网络模式下，使用的交换机是谁？ 2、这种网络模式下，虚拟机能否上网？如果能上网，是如何上网的？桥接模式：使用是vmnet0交换机，可以上网，通过网桥桥接上网的。
NAT模式：使用vmnet8交换机，可以上网，通过NAT转换上网的。
host-only模式：使用vmnet1交换机，不可以上网。
实战：使用VMware虚拟机NAT模式安装Centos7操作系统。 详细参考附件资料。
#整个离线课程3台虚拟机 硬件资源分配 node1 1*2 CPU 4G ram node2 1*1 CPU 2G ram node2 1*1 CPU 2G ram
3.3、SSH安全外壳协议
核心：非对称加密（单向的）
两把钥匙 公钥、私钥 公钥加密、私钥解密用途1：基于用户名密码加密登录
用途2：机器间的免密登录
3.4、Linux文件上传与下载
四、Linux常见基础命令
4.1、文件系统基本概念
文件系统是操作系统用于明确存储设备（常见的是磁盘，也有基于NAND Flash的固态硬盘）上的文件的方法和数据结构；即在存储设备上组织文件的方法。
操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。
功能：存储文件，存储数据，管理文件。
形式：目录树结构。
1、都是从/根目录开始的 2、分为两个种类：目录、文件 3、路径的唯一性 4、只有在目录下才可以继续创建下一级目录Linux号称万物皆文件，组成一个目录树结构。所有的文件都是从/根目录开始的。
回顾：
1、当前目录、相对路径、绝对路径
#1、当前目录你目前所在的目录 可以使用pwd来查看。 有的场合叫做当前工作目录。#2、相对路径相对你当前的工作目录 路径没有/#3、绝对路径从根目录开始,/开始的 跟你在哪里没有关系2、特殊符号 . … ~ /
# .如果是文件名字以.开始 .1.txt 表示文件是隐藏文件如果是路径中有. 表示的是当前路径 ./ # ..当前路径的上一级 cd ../../e.g:cp ../../1.txt ./ # ~ 表示的是用户的家目录root用户的家目录 /root普通用户的家目录 /home/用户名# /根目录
4.2、常见的操作命令
#1、history命令 查看历史执行命令
#2、查看指定目录下内容lsls -a 查看所有文件 包括隐藏文件ls -l =ll 查看文件详细信息 包括权限 类型 时间 大小等ll -h 表示以人性化的显示内容ll * *通配符表示任意字符 ?表示有且只有一个字符
#3、切换工作目录#如何查看自己当前的所在目录 pwdcd 路径 注意自己写的是相对还是绝对的 还可以结合特殊符合使用cd ./cd /cd ../cd ~
#4、文件的创建与删除touch 创建一个空文件 没有内容的文件mkdir 创建文件夹-p 父目录不存在的情况下 帮助创建rm 删除文件-f 强制删除 不给与提示-r 递归删除 针对文件夹-rf 杀伤力极大 问问自己在干什么坐牢眼：rm -rf /*
#5、移动与复制tree 以树状图的形式显示文件夹下内容[root@node1 tmp]# tree /usr/tmp/-bash: tree: command not found#如果在linux中出现命令找不到错误，一般来说两种原因：命令写错 命令不存在在确定没有写错的情况下 可以使用yum在线快速安装yum install -y treecp 复制文件或者文件夹-r 递归 针对文件夹/a/b 表示复制的是文件夹b/a/b/* 表示复制的是文件夹b下的所有内容mv 移动文件或者文件夹mv 旧文件名 新文件名
文件内容查看命令
#1、cat一次查看所有的内容 适合小文件 #2、less分屏查看大文件 enter回车下一行 空格下一屏前后屏幕 b f退出 q #3、head 查看文档的前几行内容-n 指定行数 #4、tail- 数字 查看最后几行内容-f -F 文件 实时查看文件的变化内容（当追踪的文件丢失再出现的时候 能否继续追踪 F可以继续）管道命令 |
# 命令 1 | 命令 2 可以将命令 1 的结果 通过命令 2 作进一步的处理[root@node1 ~]# ls 1.txt anaconda-ks.cfg hello lrzsz-0.12.20.tar.gz test test.file [root@node1 ~]# ls | grep ^t test test.fileecho 输出命令
#相当于print 将内容输出console控制台 [root@node1 test]# echo 111 111 [root@node1 test]# echo "hello " hello重定向
# > 覆盖# >> 追加将前面命令成功的结果追加指定的文件中# &>>将前面命令失败的结果追加指定的文件中输出的内容分为标准输出stdout 错误输出stderr [root@node1 test]# echo 111 111 [root@node1 test]# echo "hello " hello [root@node1 test]# echo 111 > 4.txt [root@node1 test]# cat 4.txt 111 [root@node1 test]# echo 222 > 4.txt [root@node1 test]# cat 4.txt 222 [root@node1 test]# echo 222 >> 4.txt [root@node1 test]# cat 4.txt 222 222[root@node1 test]# mkdir a/b/c >> 5.txt mkdir: cannot create directory ‘a/b/c’: No such file or directory #错误的输出无法通过>>进行追加[root@node1 test]# mkdir a/b/c &>> 5.txt [root@node1 test]# cat 5.txt mkdir: cannot create directory ‘a/b/c’: No such file or directory# && 和 ||命令1 &&命令2 1执行成功才执行2命令1 ||命令2 1执行失败才执行2[root@node1 test]# mkdir a/b/c && echo "创建目录成功了" mkdir: cannot create directory ‘a/b/c’: No such file or directory [root@node1 test]# mkdir -p a/b/c && echo "创建目录成功了" 创建目录成功了软链接
可以对比理解windows快捷方式。
有没有硬链接呢？ 有 ln -s 目标文件的绝对路径 软链接名（快捷方式） ln 目标文件的绝对路径 硬链接名
Linux搜索文件
find
find <指定目录> <指定条件> <指定动作>默认是搜索当前目录下，所有文件 显示在屏幕上find . -name "*.log" -ls 在当前目录查找以.log 结尾的文件， 并显示详细信息。 find /root/ -perm 777 查找/root/目录下权限为 777 的文件 find . -type f -name "*.log" 查找当目录，以.log 结尾的普通文件 find . -type d | sort 查找当前所有目录并排序 find . -size +100M 查找当前目录大于 100M 的文件grep
ps -ef | grep sshd 查找指定 ssh 服务进程 ps -ef | grep sshd | grep -v grep 查找指定服务进程，排除 gerp 本身 ps -ef | grep sshd -c 查找指定进程个数locate
#相当于find -name 但是效率比find更高 因为底层维护了一个索引的数据库 默认一天更新一次 #通常的使用习惯是 先更新在查找 updatedb locate /etc/sh 搜索 etc 目录下所有以 sh 开头的文件 locate pwd 查找和 pwd 相关的所有文件which
#查找环境变量中的内容 通常用于判断软件是否配置环境变量。
解压缩命令
打包、解包
tar cvf 打包名.tar 文件或者目录 tar xvf 打包名.tar tar xvf 打包名.tar -C指定解包目录压缩、解压缩
#z gzip 使用 gzip 压缩和解压缩 #j bzip2 使用 bzip2 压缩和解压缩tar zcvf itheima.tar.gz a.txt b.txt tar zcvf itheima.tgz a.txt b.txt tar zxvf lrzsz-0.12.20.tar.gz -C aaa/ （至孝潍坊）
五、vi|vim文本编辑器
5.1、介绍
VI编辑器是linux平台上最强悍的文本编辑器。主要是以命令来驱动执行。
最困难的就是命令的使用 区分3种工作模式VIM是VI的增强版本，功能差不多。
5.2、3种工作模式
命令模式
直接使用vi打开文件进入的就是命令模式 在此模式下，所敲的按键都理解为命令 以命令驱动执行不同的功能 此模型下，不能自由进行文本编辑输入模式（左下角insert标记）
编辑文本内容 需要从命令模式按下i进入输入模式 按下esc回到命令模式底线命令模式
: 字母 通常用于文件的保存退出:q 退出 :w 保存 :wq 保存退出 :wq! 强制保存退出- 还可以在命令模式下输入：shift+zz 快速的保存退出。
5.3、打开、新建
vim 文件名#1、如果编辑的文件不存在 此时就是新建文件 new file
#2、如果文件存在，就打开文件 进入命令模式
异常模式处理
- 情况：编辑过程中 ，VIM闪退。导致底层会生成一个swap交换文件，里面记录着未保存的数据
- 现象：再次打开文件的时候，编辑器会询问你如何处理swap交换文件。
5.4、vim基本操作命令
光标的移动
cp /etc/profile ./#1、方向键控制移动 #2、命令 hjkl移动 #3、翻页 pageup pagedown #4、行首（home 0） 行尾（end $）#5、跳到文件的最后一行 G #6、跳到文件的第一行 gg复制粘贴
#复制 yy 复制当前行 nyy 复制当前行往下n行#粘贴 p 当前行的下一行粘贴 P 当前行的上一行粘贴#注意 使用鼠标从window或者其他地方复制内容到vim编辑器粘贴 一定一定要在输入模式下进行 否则数据会有丢失的风险。搜索替换
#搜索 /待搜索的内容 回车进行搜索 搜索到的结果高亮显示 使用n跳转到下一个搜索到的内容 N跳转上一个#清除搜索匹配之后的高亮显示 :noh#替换 :2,4s/原内容/替换内容/gc 没有g的时候 替换每一行匹配的到的第一个 g表示替换这一行的所有匹配到的 c表示替换前给用户提示#如果需要进行全局替换 所谓第一行到最后一行 :1,$s/原内容/替换内容/gc :%s/原内容/替换内容/gchello tom hello allen hello allen tom mac apple hello allen apple hello apple spark allen hadoop spark allen allen删除、撤销
#删除命令 dd 删除当前行 ndd 删除当前行往下n行#撤销、反撤销 u 撤销上一步的操作 后悔药 ctrl+r 反撤销
5.5、插入模式、编辑模式（重要）
在命令模式下面输入字母进入插入模式# i 进入到编辑模式后，定位到当前光标前面
# o 进入到编辑模式后，在当前行的后面，添加一行空行
常见的组合命令 G+o
打开文件之后 调整到最后一行 在下一行开始编辑注意：在crt中，复制的内容单击鼠标右键可以进行粘贴，但是在vim编辑器中，必须在输入模式下再进行粘贴，否则内容会有丢失的风险。
5.6、可视模式( VISUAL )
功能：用于文本的选择
# v 基于字符选择的 # V 基于行选择的 # ctrl+v 基于文本块的选择选择之后配合其他命令进行操作
5.7、扩展：notepad++ 文本编辑插件
- 功能：在windows平台联机编辑linux上的文件，保存之后，自动同步服务器上。
- 前提：notepad++ 升级到最新版本
- 安装插件：插件—>插件管理—>NppFTP
- 插件的配置
Python + 大数据-Hadoop生态-Linux(一)-环境搭建和Vi相关推荐
- Python +大数据-Hadoop生态-Linux(二)-集群搭建和安装
Python +大数据-Hadoop生态-Linux(二)-集群搭建和安装 今日课程学习目标 1.掌握Linux用户.权限管理 2.掌握Linux常用系统命令 3.掌握服务器集群环境搭建 4.了解sh ...
- BIG DATA 神奇的大数据 - Hadoop（Linux）环境搭建与部署
自说 Hadoop的运行环境有两种,分别是windows和linux系统,Linux更适合作为服务器操作系统,也更加方便使用. 学习路径 BIG DATA 神奇的大数据 - hadoop简章 准备工作 ...
- Python +大数据-hadoop生态-hadoop(三)--Hadoop HDFS
Python +大数据-hadoop生态-hadoop(三)–Hadoop HDFS 今日课程学习目标 理解分布式文件存储的概念与实现 掌握HDFS分块存储.副本机制等特性 学会shell操作HDFS ...
- 大数据介绍、集群环境搭建、Hadoop介绍、HDFS入门介绍
大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍 文章目录 大数据介绍.集群环境搭建.Hadoop介绍.HDFS入门介绍 1.课前资料 2.课程整体介绍 3.大数据介绍 3.1 什么是大数 ...
- 03 大数据hadoop发展简史及环境安装
文章目录 大数据hadoop发展简史及环境安装 1.hadoop的介绍以及发展历史 2.hadoop的历史版本介绍 3.hadoop三大公司发型版本介绍 3.1免费开源版本apache: 3.2免费开 ...
- Hadoop+hive+flask+echarts大数据可视化项目之hive环境搭建与系统数据的分析思路
Hadoop+hive+flask+echarts大数据可视化项目(四) --------------hive环境搭建与系统数据的分析思路---------------- 关注过Hadoop+hive ...
- 大数据之Hadoop3.x 运行环境搭建（手把手搭建集群）
文章目录 写在开头 安装包准备 一.Hadoop运行环境搭建(开发重点) 1.1 模板虚拟机环境准备 1.2 克隆虚拟机 1.3 在hadoop102安装JDK 1.4 在hadoop102安装Had ...
- 大数据 Hadoop 生态体系介绍
- 大数据hadoop环境部署
大数据hadoop在linux环境下的部署安装,包括单节点模式.伪分布模式以及完全分布式模式
最新文章
- NLP领域的ImageNet时代：词嵌入已死，语言模型当立
- 对抗攻击最新研究：仅修改「一个像素」即可骗过神经网络！
- 【Python基础】python使用python-docx操作word
- 埃森哲携手阿里云，采用K8s容器云服务为客户提供无限弹性
- Spring MVC 自定义验证器示例
- DVWA中国菜刀连接不上问题（低安全级别就连不上，看看这！！）
- GO超详细基础语法黑点
- HOWTO：InstallShield的Basic MSI工程中如何增加序列号输入选项
- 数据科学 IPython 笔记本 六、SciPy 统计推断
- PDF复制文字到Word中太过混乱的解决方法
- linux开发板系统备份
- 从“Liskov替换原则”和“Refused Bequest”看“正方形为什么不能继承长方形”
- 引用启动类型“WebService.Startup”的 OwinStartup 属性 冲突
- 1205：汉诺塔问题
- 4 Kubernetes资源-Pod控制器(2)
- 用1、2、3、4、5、6、7、8、9这9个数字，填入□ 中使等式□□×□□□ = □□□□ 成立，每个数字恰好只用一次。
- 解决谷歌浏览器拦截文件只有舍弃选项问题
- 英读廊——为什么说密码中加入特殊字符会更安全？
- modelsim使用protect加密verilog代码
- 商城系统建设：如何搭建自己的网上商城平台