我正在参加年度博客之星评选，请大家帮我投票打分，您的每一分都是对我的支持与鼓励。

2021年「博客之星」参赛博主：Maynor大数据 (感谢礼品、红包免费送！)

https://bbs.csdn.net/topics/603955366

文章目录

  • 我正在参加年度博客之星评选，请大家帮我投票打分，您的每一分都是对我的支持与鼓励。
    • 前言
    • 近6万字,没有更全的Linux笔记了!!
  • 操作系统概述
    • 目标：了解 **操作系统** 的作用
        • 1.1 操作系统(Operation System, OS)
      • 1.2 操作系统的种类
        • 1.2.1 桌面操作系统
        • 1.2.2 服务器操作系统
        • 1.2.3 嵌入式操作系统
        • 1.2.4 移动设备操作系统
    • 1.2 发展史
      • 1.3 内核
      • 1.4 发行版
    • 2 系统安装
    • 目标
      • 2.1 VM虚拟机
        • 2.1.1 概述
        • 2.1.2 安装虚拟机
        • 2.1.3 配置网卡
        • 目标
        • a. 网络原理
        • b. 确保 `VMnet8` **已经启动**
        • c. 设置VMnet8的ip地址
        • d. 确保所有关于VMWare的服务都开启
        • e 配置虚拟机的网卡
    • 2.2 centos是linux的发行版
      • 2.2.1 目标
      • 2.2.2 路径
      • 2.2.4 实现
        • 2.2.4.1 理解安装步骤
        • 2.2.4.2 使用VM虚拟机 准备 硬件环境
        • 2.2.4.3 在硬件环境 安装CentOs镜像
        • 2.2.4.4 配置网卡信息
          • 目标
          • 第一步: 了解 网卡 和ip地址的概念
          • 第二步: 查看网卡信息
          • 第三步: 通过 `setup` 命令设置网卡新
        • 2.2.4.5 理解centos的文件和目录
          • /etc： 系统配置，启动程序
          • /home：普通用户的家，目录默认数据存放目录
          • /root：Linux超级权限用户root的家目录
          • /sbin：和管理系统相关的命令，【超级管理员用】
    • 2.4 远程连接工具
      • 2.4.1 secureCRT软件
        • a.安装
        • b.配置连接 linux系统
        • c. 修改主题和字体大小
        • d. 常用快捷键
      • 2.4.2 winSCP
    • 2.5 快照(备份)
      • 2.5.1 目标
      • 2.5.2 备份系统
      • 2.5.3 恢复到快照状态
  • 3 常用命令
    • 目标
    • 01.学习Linux终端命令的原因
      • windows系统命令体验
  • Linux终端命令格式
    • 目标
    • 01.终端命令格式
      • 1.1 常用Linux命令的基本使用
    • 02.目录（文件夹）常用命令
      • 目标:文件夹的增、删、改、查的命令操作
        • 2.1创建文件夹的命令
        • 2.2删除文件夹的命令（谨慎使用，谨慎使用，谨慎使用）
        • 2.3修改文件夹的命令
        • 2.4查询文件夹的命令
        • 2.5 其他命令
        • 目录切换命令
        • 软连接（快捷键）
        • 当前位置
        • 复制文件夹
      • 练习：
    • 03.文件常用命令
    • 目标:文件的增、删、改、查的命令操作
        • 3.1创建文件的命令
        • 3.2删除文件的命令（谨慎使用，谨慎使用，谨慎使用）
        • 3.3修改文件的命令
        • 3.4查询文件的命令
        • 查看文件信息
        • 查看文件前10行数据
        • 查看文件后10行数据
        • 查看文件内容
        • 查看所有
        • 过滤查看
        • 3.5 其他命令
        • 文件追加
        • 复制文件
      • 练习：
      • 常用命令补充
        • ls 命令选项
        • cd 命令选项
        • cat 命令选项
        • grep命令选项
    • 查阅命令帮助信息(知道)
      • --help 帮助信息
    • 终端使用技巧
      • 自动补全
    • 相对路径，结对路径
    • 04 其他命令
      • && 和 ||
    • ====================================================================================================================================================================================
  • VI编辑器_终端编辑器(重点重点重点)
  • 目标
  • 1 简介
    • 1.1 学习vi的目的
    • 1.2 vi 和 vim
      • 1.2.1 VI
      • 1.2.2 VIM
  • 2 打开和新建文件
    • 2.1 打开文件并且定位行
    • 2.2 VI三种工作模式
    • 2.4 末行模式命令
  • 3 常用命令
    • 学习提示
    • 3.1 移动
      • 1) 上 下 左 右
      • 2) 行内移动
      • 3) 行数移动
      • 4) 屏幕移动
    • 3.2 移动(程序)
      • 1) 段落移动
      • 2) 括号切换
    • 3.3 选中文本(可视模式)
    • 3.4 撤销和恢复撤销(保命指令)
    • 3.5 删除文本
    • 3.6 复制和剪切
    • 3.7 替换
    • 3.8 查找
    • 3.9 查找并替换
    • 3.10 插入命令(重要)
    • 3.11 练习
      • 演练1 -- 编辑命令 和 数字连用
  • 搜索命令
  • 2.find 搜索
      • 准备工作
      • 切换目录到 /export/ 且 清空内容
      • 新增目录 且 切换目录 且 新增文件
      • 查看 /export 目录中的内容
    • 目标
    • 2.1 路径
    • 2.2实现 : 在指定目录中 根据名称 搜索
      • 命令格式
        • 第一步: 搜索指定目录下, 文件是 abc.txt的文件
        • 第二步: 搜索指定目录下, 文件名 包含 `1` 的文件
        • 第三步: 搜索指定目录下,所有以`.txt` 为扩展名的文件
        • 第四步: 搜索指定目录下, 以数字`1`开头的文件
    • 2.3 小结
  • 解压缩命令
  • 目标
  • 路径
  • 3.实现
    • 3.1 第一步: 打包 和 解包
      • 3.1.1 打包
      • 3.1.2 解包
      • 小结
    • 3.2 第二步: 使用gzip格式 压缩 和 解压缩
    • 小结
    • 3.3 第三步: 使用 bzip2 格式 压缩 和 解压缩
    • 小结
  • 4 用户权限相关命令
    • 目标
    • 用户和权限的基本概念
      • 4.1 基本概念
      • 4.2 组
      • 4.3 ls -l 扩展
    • 4.4.组管理 终端命令
    • 4.5.用户管理 终端命令
      • （1） 创建用户 / 设置密码 / 删除用户
      • （2） 查看用户信息
      • （3） `su` 切换用户
      • （4） **sudo**
      • （4.1） 给 指定用户 授予 权限
      • （4.2） 使用 用户 `zhangsan` 登录, 操作管理员命令
    • （5）.修改用户权限
    • 5.1 方式一: 修改用户权限
      • 目标演练:
    • 5.2 方式二
      • 目标演练:
    • 5.3 方式三: 简化方式二
      • 目标演练:
  • 系统信息相关命令
  • 目标
  • 1.时间和日期
    • 1.1 date 时间
      • 第一步: 显示当前时间
      • 第二步: 设置系统时间
    • 1.2 cal 日历
  • 02.磁盘信息
  • 03.进程信息
  • 管道相关命令
    • 目标
  • 1 cut
    • 1.1 目标
    • 1.2 实现
      • 第一步: 截取出1.txt文件中前2行的第5个字符
      • 第二步: 截取出1.txt文件中前2行以”:”进行分割的第1,2段内容
    • 1.3 小结
  • 2 sort
    • 2.1 目标
    • 2.2 路径
    • 2.3 实现
      • 第一步: 对字符串排序
      • 第二步: 去重排序
      • 第三步: 对数值排序
      • 第四步: 对成绩排序
  • 3 wc命令
    • 3.1 目标
    • 3.2 路径
    • 3.3 实现
      • 第一步: 显示指定**文件** **字节数, 单词数, 行数** 信息.
      • 第二步: 只显示 文件 的行数
      • 第三步: 统计多个文件的 行数 单词数 字节数
      • 第四步: 查看 `/etc` 目录下 有多少个 子内容
    • 3.4 小结
  • 4 uniq
    • 4.1 目标
      • uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。
    • 4.2路径
    • 4.3 实现
      • 第一步：实现去重效果
      • 第二步：不但去重，还要 统计出现的次数
    • 4.4 小结
  • 5 tee
    • 5.1 目标
    • 5.2 实现
      • 将去重统计的结果 放到 a.txt、b.txt、c.txt 文件中
    • 5.3 小结
  • 6 tr
    • 6.1 目标
    • 6.2 路径
    • 6.3 实现
      • 第一步: 实现 替换效果
      • 第二步: 实现删除效果
      • 第三步: 单词计数
        • 准备工作
  • 7 split
    • 7.1 目标
    • 7.2 路径
    • 7.3 实现
      • 第一步: 按 **字节** 将 大文件 切分成 若干小文件
      • 第二步: 按 **行数** 将 大文件 切分成 若干小文件
    • 7.4 小结
  • 8 awk
    • 8.1 目标
    • 8.2 步骤
    • 8.3 实现
      • 第一步: 搜索 zhangsan 和 lisi 的成绩
      • 第二步: 指定分割符, 根据下标显示内容
      • 第三步: 指定分割符, 根据下标显示内容
      • 第四步: 调用 awk 提供的函数
      • 第五步: if语句 查询及格的学生信息
      • 第六步: 段内容 求学科平均分
  • 9 sed
    • 9.1 目标
    • 9.2 路径
    • 9.3 实现
      • 第一步: 实现 查询 功能
        • 练习1 列出 1.txt的 1~5行 的数据
        • 练习2 列出01.txt的所有数据
        • 练习3 列出01.txt的所有数据 且 显示行号
        • 练习4: 查找01.txt中包含root行
        • 练习5 列出01.txt中包含root的内容，root不区分大小写,并显示行号
        • 练习6 查找出1.txt中 字母`r`后面是多个t的行，并显示行号
      • 第二步: 实现 删除 功能
        • 练习1 删除01.txt中前3行数据，并显示行号
        • 练习2 保留1.txt中前4行数据，并显示行号
      • 第三步: 实现 修改 功能
        • 练习1: 在01.txt的第二行后添加aaaaa,并显示行号
        • 练习2 在1.txt的第1行前添加bbbbb，并显示行号
      • 第四步: 实现 替换 功能
        • 练习1 把1.txt中的nologin替换成为huawei,并显示行号
        • 练习2 把01.txt中的1,2行替换为aaa,并显示行号
      • 第五步: 对 原文件 进行操作
        • 练习1 在01.txt中把nologin替换为 huawei
        • 练习2 在01.txt文件中第2、3行替换为aaaaaa
        • 练习3 删除01.txt中前2行数据，并且删除原文件中的数据
      • 第六步: 综合 练习
        • 练习1 获取ip地址
        • 练习2 从1.txt中提出数据，匹配出包含root的内容，再把nologin替换为itheima
        • 练习3 从1.txt中提出数据，删除前2行，并把nologin替换为itheima,并显示行号
  • 1 挂载新的硬盘
    • 1.1 目标
    • 1.2 路径
    • 1.3 实现
      • 第一步: 了解linux系统分区的原理
      • 第二步: 查看系统分区挂载情况
      • 第三步: 虚拟机 增加 硬盘
      • 第四步: 分区
        • 操作如下:
      • 第五步: 格式化
        • 操作如下
      • 第六步: 挂载
        • 操作步骤
      • 第七步: 设置重启不失效
        • 操作步骤
    • 1.4 小结
    • 1.5 挂载 持有系统镜像 光驱
      • 1.5.1 目标
      • 1.5.2 路径
        • 第一步: 将 **linux系统镜像** 放到光驱中
        • 第二步: 创建目录 `/mnt/cdrom`
        • 第三步: 通过挂载 建立 硬件 和 系统目录的关系
        • 第四步: 到镜像中 寻找按照包
      • 1.5.3 实现
    • 1.5.4 小结
      • 通过 挂载 系统光驱, 就可以 获取系统镜像中 软件包
      • 注意: 系统镜像目录中 不能有中文, 不能有空格
  • 2 rpm 软件包管理器
    • 2.1 目标
    • 2.2 路径
    • 2.3 实现
      • 第一步: rpm包 的 查询命令
      • 第二步: rpm包 的 卸载
      • 第三步: rpm包 的 安装
    • 2.4 小结
  • 3 yum
    • 3.1 目标
    • 3.2 路径
      • 第一步: yum的原理
      • 第二步: 常用指令 （重点）
      • 第三步: 制作 本地 `yum` 源
      • 第四步: 制作 局域网 `yum` 源
    • 3.3 实现
      • 3.3.1 yum的原理
      • 3.3.2 常用命令(重点)
      • 3.3.3 制作本地yum源
        • 原因: 因为大数据集群 为了安全, 不让连接外网
        • 原理
        • 实现
        • 第一步 挂载 持有系统镜像的 光驱, 请参考 1.5 小结
        • 第二步: 备份默认yum源仓库
        • 第三步: 新增本地yum源 `vim CentOS-Local.repo`
        • 第五步: 断网 测试是否可以安装
      • 3.3.4 制作局域网yum源
        • 原理
        • 3.3.5.1 安装httpd软件
        • 安装httpd:
        • 启动 httpd 服务
        • 测试
        • 问题: 发现无法访问?
        • 原因: 因为 linux 的防火墙 禁止他人 访问自己的80端口
        • 解决: 通知 防火墙放行
        • 关闭防火墙
        • 原因: 为了方便 内网中集群间机器的相互操作, 通常会关闭防火墙
        • 关闭防火墙
        • 3.3.4.3 制作局域网 yum源
        • 使用浏览器访问`http://192.168.100:201:80`
        • 第一步: 将常用软件包 复制到指定目录下
        • 第二步: 浏览器访问`http://192.168.100.201/CentOS-6.9/`
        • 第三步: 更新其他节点的 本地yum源(在其他节点上测试)
        • 1) 备份默认yum源
        • 2) 制作本地yum源
        • 第四步: 测试是否成功(在其他节点上测试)
    • 3.4 小结
  • 4 安装jdk
    • 4.1 路径
      • 第一步: 卸载linux系统 提供的jdk
      • 第二步: 上传按照包到 `/export/soft` , 解压到 `/export/install`
      • 第三步: 将 jdk路径 放到 环境变量中
      • 第四步: 重新加载 环境变量的配置文件
      • 第五步: 测试是否安装成功
    • 4.2 实现
      • 第一步: 卸载linux系统 提供的jdk
      • 第二步: 上传按照包到 `/export/soft` , 解压到 `/export/install`
      • 第三步: 将 jdk路径 放到 环境变量中
      • 第四步: 重新加载 环境变量的配置文件
      • 第五步: 测试是否安装成功
  • 5 安装tomcat
    • 5.1 目标
      • 实际工作中我们可能需要发布web项目到tomcat中
    • 5.2 路径
      • 第一步: 将安装包上传到 `/export/soft` , 解压到 `/export/install`
      • 第二步: 启动tomcat 且 查看日志
      • 第三步: 上传项目 测试
    • 5.3 实现
      • 第一步: 将安装包上传到 `/export/soft` , 解压到 `/export/install`
      • 第二步: 启动tomcat 且 查看日志
      • 第三步: 测试
        • 将需要发布的项目 放到 `tomcat目录/webapps` 目录下
        • 提示: 防火墙要么关闭, 要么开放tomcat指定的端口,否则无法访问
  • 6 安装mysql
    • 6.1 yum安装原理：
      • yum安装是通过执行yum命令，自动分析依赖关系, 自动下载, 自动安装
    • 6.2 yum安装优点：
      • 安装简单、快速
    • 6.3 缺点：
      • 由于不同的yum仓库只有特定的几个版本，所以可选的版本较少。
    • 6.4 yum安装实战
      • 1 查询系统自带的mysql
      • 2 安装mysql
      • 3 启动服务
      • 4 修改密码
      • 5 问题1: 解决中文乱码
        • 1 进入MySQL控制台
        • 2 修改mysql配置文件
        • 3 重启MySQL服务
    • 6 问题2: 默认情况下 mysql服务端不允许客户端远程访问
  • 7 集群(三台)
    • 7.1 新增linux系统
      • 第一步: 克隆虚拟机
      • 第二步: 更改新增系统的mac地址
      • 第三步: 更改网卡信息 (setup)
      • 第四步: 重启系统生效
    • 7.2 三台机器 关闭防火墙
      • 内网环境 安全性比较高, 防火墙开启会影响效率, 所以 关闭防火墙
    • 7.3 三台机器关闭selinux
    • 7.4 三台机器更改主机名
      • 重启才会生效
    • 7.5 三台机器 给ip地址起别名
      • 7.5.1 给ip地址起别名
      • 7.5.2 测试
    • 7.6 `scp` 远程文件拷贝
      • 7.6.1 是什么?
        • scp是 `remote file copy program` 的缩写, scp是远程文件拷贝命令。
      • 7.6.2 从本地拷贝到远程机器上
        • 准备工作
        • 1 文件
        • 语法格式
        • 需求: 将本地 01.txt 文件 复制到 192.168.100.202 机器的 /export目录下
        • 2 文件夹
        • 需求: 将本地 aaa 目录 复制到 192.168.100.202 机器的 /export 目录下
      • 7.6.3 将远程机器内容复制到本地机器上
        • 准备工作
        • 1 文件
        • 练习3: 将 hadoop02的 111.txt 文件 复制到 hadoop01的 export目录下
        • 2 目录
        • 练习4: 将hadoop02的 /export/a1/ 目录 复制到 hadoop01 的 export目录下
    • 7.7 ssh远程登录
      • 7.7.1 目标
        • 专门用于 远程登录
      • 7.7.2 路径
        • 方式一: 使用 `ssh` 基于密码的远程登录(了解)
        • 方式二: 使用 `ssh` 基于密匙 实现 免密码登录(掌握)
      • 7.7.3 实现
        • 方式一 使用 `ssh` 基于密码的远程登录
        • 方式二: 使用 `ssh` 基于密匙 实现 免密码登录(掌握)
    • 7.8 crontab 任务调度
      • 7.8.1 原理
      • 7.8.2 概述
      • 基本语法
        • 常用选项
      • 7.8.3 案例: 每隔1分钟将时间打印到 `/export/文件`中
        • 方案一: 直接式
        • 方式二: 脚本式
      • 7.8.4 参数细节说明(学会查)
    • 7.9 三台机器时钟同步
      • 7.9.1 同步互联网时间
      • 7.9.2 跟内网某台机器同步时间
        • 为了安全, 大数据集群的节点不允许连接外网
          • 第一步:确定是否安装了ntpd的服务
          • 第二步:编辑 `/etc/ntp.conf`
        • 注意: 如果更改ntp时钟服务器的时间,也需要重启 `ntpd` 服务
        • 第三步：另外两台机器与第一台机器时间同步
    • 总结

前言

大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。

近6万字,没有更全的Linux笔记了!!

Linux是大数据中的基础,无论是运维或开发,都免不了要学,而且学的越扎实越好,下面为大家带来Linux学习笔记

操作系统概述

目标：了解 操作系统 的作用

1.1 操作系统(Operation System, OS)

操作系统作为接口的示意图:

没有安装操作系统的计算机, 通常被称为 裸机

  • 如果想在 裸机 上运行自己所编写的程序, 就必须用机器语言书写程序
  • 如果计算机上安装了操作系统, 就可以在操作系统上安装支持的高级语言环境,用于高级语言开发

1.2 操作系统的种类

  • 桌面操作系统
  • 服务器操作系统
  • 嵌入式操作系统
  • 移动设备操作系统

1.2.1 桌面操作系统

  • Window 系列

    • 用户群体大
  • macOS
    • 细节处理的更好, 没有windows软件丰富, 价格高
  • Linux
    • 应用软件少

1.2.2 服务器操作系统

  • Linux

    • 安全、稳定、免费
    • 占有率高
  • Windows Server
    • 付费
    • 占有率低

1.2.3 嵌入式操作系统

  • Linux

1.2.4 移动设备操作系统

  • IOS
  • Android (基于Linux)
  • 华为鸿蒙(基于linux)

1.2 发展史

  • linux 创始人: 林纳斯 托瓦兹
  • linux 诞生于: 1991年 作者上大学期间
  • 诞生原因:

    • 因为创始人 经常需要浏览新闻和处理邮件, 为了方便 读写 和 下载, 所以开发了 文件系统, 当时 21岁.

    • linux是开源免费

    • 后来经过全世界网友的支持, 现在能够兼容多种硬件

      唐纳德·特朗普

      弗拉基米尔·弗拉基米罗维奇·普京

      巴勃罗·迭戈·荷瑟·山迪亚哥·弗朗西斯科·德·保拉·居安·尼波莫切诺·克瑞斯皮尼亚诺·德·罗斯·瑞米迪欧斯·西波瑞亚诺·德·拉·山迪西玛·特立尼达·玛利亚·帕里西奥·克里托·瑞兹·布拉斯科·毕加索

1.3 内核

  • 内核(kernel) 是系统的心脏, 是运行程序和管理磁盘和打印机等硬件设备的核心程序.
  • Linux内核版本
    • 稳定版

      • 具有工业级强度, 可以广泛的应用和部署.
    • 开发版
      • 由于要试验各种解决方案, 所以变化很快
  • 内核源码网址: http:www.kernet.ort
    • 所有来自全世界的对linux源码的修改最终都会汇总到这个网站, 由 Linus 领导的开源社区对其进行甄别和修改, 最终决定是否进入到 LInux主线内核源码中

1.4 发行版

  • redhat：目前，全球最大的linux发行厂商，功能全面、稳定。

    • Redhat 被 IBM 收购!
  • ubuntu：目前，是linux桌面操作系统做的最好的。
  • centos：免费版的redhat，centos 基于 redhat 发行版基础之上，再重新编译发布的版本。
    • 目前 centos 已经被 Redhat 公司收购，但是依然免费

2 系统安装

目标

  • 1: 使用 VM 虚拟机 模拟 电脑硬件
  • 2: 在虚拟的 电脑上 安装 centOS 操作系统( linux 发行版)
  • 3: 为了让别人能够访问操作, 配置 网络环境
  • 4: 使用远程客户端 CRT 和 WinSCP 操作 linux操作系统
  • 5: 防止操作系统 意外损坏, 及时备份(快照)

2.1 VM虚拟机

2.1.1 概述

  • 虚拟机 (Virtual Machine) 指通过 软件模拟 的具有完整硬件系统功能的. 运行在一个完全隔离环境中的完整计算机系统

    • 虚拟系统通过生成现有操作系统的全新虚拟镜像, 具有真实操作系统完全一样的功能.
    • 进入虚拟系统后, 所有操作都是在这个独立全新的独立的虚拟系统里面进行, 可以独立安装运行软件, 保存数据, 不会对真正的系统产生任何影响
    • 而且现有在系统与虚拟镜像之间灵活切换的一类操作系统

2.1.2 安装虚拟机

详情请参考 资料（环境） 中《01_开启电脑虚拟化》，《02_安装虚拟机软件》word文档!

2.1.3 配置网卡

目标

  • 了解桥接 和 NAT 的 联网原理
  • 配置虚拟机的网卡信息

a. 网络原理

桥接原理

因为 虚拟机的linux系统的ip地址是固定的, 更换路由器后导致无法使用, 所以 不推荐使用

NAT原理

如果宿主电脑可以上网, 内部的虚拟机也可以上网就好了

NAT原理本质上就是 虚拟机实现了交换机的功能, linux系统的IP地址就不会随宿主电脑的ip地址更改而更改

推荐使用这种方式

b. 确保 VMnet8 已经启动

c. 设置VMnet8的ip地址

网关: 192.168.100.1

d. 确保所有关于VMWare的服务都开启

e 配置虚拟机的网卡

  • 核查 配置子网ip和子网掩码

  • 再次确认

2.2 centos是linux的发行版

2.2.1 目标

  • 在虚拟机上 安装centos系统 模拟 机房的一台服务器

2.2.2 路径

  • 第一步: 理解安装步骤
  • 第二步: 使用VM虚拟机 准备 硬件环境
  • 第三步: 在硬件环境 安装CentOs镜像
  • 第四步: 理解centos的文件和目录

2.2.4 实现

2.2.4.1 理解安装步骤

2.2.4.2 使用VM虚拟机 准备 硬件环境

  • 请参考资料中《03_创建虚拟主机》 word 文档

2.2.4.3 在硬件环境 安装CentOs镜像

  • 请参考资料中 《04_CentOS系统安装步骤》word 文档

2.2.4.4 配置网卡信息

目标
  • 能够让 宿主机 和 新装的centOS 相互通信
第一步: 了解 网卡 和ip地址的概念

  • 网卡是一个专门负责网络通讯的硬件设备

  • ip地址是设置在网卡上的地址信息

  • 我们可以把 电脑 比作 手机, 网卡 相当于 手机卡槽, ip地址 相当于 手机号

  • IP地址

    • 每台联网的电脑上都有IP地址, 是保证电脑之间正常通讯的重要设置

      注意: 每台电脑的IP地址不能相同, 否则 会出现IP地址冲突, 并且没有办法正常通讯

第二步: 查看网卡信息
  • ifconfig 和 ping
序号 命令 对应英文 作用
01 ifconfig configuration
a newwork interface 		查看/配置计算机当前的网卡信息
02 ping ip地址 ping 检测到目标ip地址 的连接是否正常
03 service network restart 重启网卡服务
第三步: 通过 setup 命令设置网卡新
# 开始设置网卡信息
setup

重启网卡服务

测试能否上网, 注意: 前提是 宿主机必须能够上网

2.2.4.5 理解centos的文件和目录

  • windows 系统 可以拥有多个盘符, 如 C盘、D盘、E盘
  • Linux 没有盘符 这个概念, 有类似得分区（一个硬盘分多个分区）
  • Linux 所有文件都在‘根’（‘/’）目录下
  • Linux主要目录 速查表

  • /bin： 二进制命令所在的目录

  • /boot ： 系统引导程序所需要的文件目录，引导系统开机

  • /dev ：设备软件目录，磁盘，光驱，

  • /etc： 系统配置，启动程序
  • /home：普通用户的家，目录默认数据存放目录

  • /lib： 启动系统和运行命令所需的共享库文件和内核模块存放

  • /mnt：临时挂载储存设备的挂载点，u盘插入光驱无法使用，需要挂载然后使用

  • /opt：额外的应用软件包

  • /proc：操作系统运行时，进程信息和内核信息存放在这里

  • /root：Linux超级权限用户root的家目录
  • /sbin：和管理系统相关的命令，【超级管理员用】

  • /tmp：临时文件目录，这个目录被当作回收站使用

  • /usr：用户或系统软件应用程序目录

  • /var：存放系统日志的目录

  • 注意：一般不要 操作 非自己创建的目录和文件，否则可能导致服务器崩溃。

2.4 远程连接工具

2.4.1 secureCRT软件

  • secureCRT是Windows上 登录 服务器主机的软件
  • 主要是 通过命令行操作服务器

a.安装

  • 双击 下一步 就可以了

b.配置连接 linux系统

c. 修改主题和字体大小

d. 常用快捷键

tab键：命令或者路径提示及补全;ctrl+c：放弃当前输入，终止当前任务或程序；ctrl+l：清屏；ctrl+shift+c：复制；ctrl+shift+v：粘贴；alt+b ：打开connect窗口；alt+1/2/3/4/5… ：切换会话窗口

2.4.2 winSCP

  • 它的主要功能就是在本地与远程计算机间 进行 文件 上传和下载
  • 使用 鼠标拖拽 即可完成

2.5 快照(备份)

2.5.1 目标

  • 快照就是 备份系统, 防止意外损坏, 降低损失

2.5.2 备份系统

a. 右键目标centos系统 -> 快照 -> 快照管理器

b. 拍摄快照

2.5.3 恢复到快照状态

a. 右键目标centos系统 -> 快照 -> 恢复到指定快照即可

3 常用命令

目标

  • 理解学习linux终端命令的原因
  • 学习技巧

01.学习Linux终端命令的原因

  • Linux刚面世时并没有图形界面, 所有的操作全靠命令完成, 如 磁盘操作、文件存取、目录操作、进程管理、文件权限 设定等

  • 在职场中，大量的 服务器维护工作 都是在 远程 通过SSH客户端 来完成的， 并没有图形界面， 所有的维护工作都需要通过命令来完成！

  • 在职场中， 作为后端程序员， 必须要或多或少的掌握一些Linux常用的终端命令

  • Linux发行版本的命令大概有200多个， 但是常用的命令只有10多个而已

学习终端命令的技巧：

  • 不需要死记硬背， 对于常用命令， 用的多了， 自然就记住了。
  • 不要尝试一次学会所有的命令， 有些命令是非常不常用的，临时遇到， 临时百度就可以

windows系统命令体验

​ 参见《资料（环境）》 内的05_windows命令。

Linux终端命令格式

目标

  • 了解终端命令格式

  • 掌握常用命令

  • 了解知道如何查阅终端命令帮助信息

01.终端命令格式

command [-options] [parameter]

说明:

  • command : 命令名, 相应功能的英文单词或单词的缩写
  • [-options] : 选项, 可用来对命令进行控制, 也可以省略
  • parameter : 传给命令的参数, 可以是 零个、一个 或者 多个

1.1 常用Linux命令的基本使用

序号 命令 对应英文 作用
01 ls list 查看当前目录下的内容
02 pwd print working derectory 查看当前所在文件夹
03 cd [目录名] change directory 切换文件夹
04 touch [文件名] touch 如果文件不存在, 新建文件
05 mkdir [目录名] make directory 创建目录
06 rm [文件名] remove 删除指定的文件名
07 clear clear 清屏

02.目录（文件夹）常用命令

目标:文件夹的增、删、改、查的命令操作

2.1创建文件夹的命令

​ 格式：mkdir 目录名

​ mkdir -p 目录名1/目录名2/目录名3(嵌套)

​ 注意: 新建目录的名称 不能与当前目录中 已有的目录或文件 同名

​ 示例： mkdir /opt/dir1

​ mkdir -p /opt/dir1/dir2/dir3/dir4

2.2删除文件夹的命令（谨慎使用，谨慎使用，谨慎使用）

​ 格式：rm 文件夹 （有提示）

​ rm -f 文件夹 (取消提示)

​ rm -rf 文件夹 （递归删除）

​ rm -rf 结合通配符 * ? [abc][a-z]

​ rm -rf dir3*

​ 示例：rm -rf /opt/dir1/dir2/dir3/dir4

参数 英文 含义
-r recursive (递归) 递归地删除目录下的内容, 删除文件夹 时必须加此参数
-f force (强制) 强制删除,忽略不存在的文件, 无需提示

2.3修改文件夹的命令

格式：mv  旧文件夹名       新文件夹名

改变位置：mv 就路径 新路径（已经存在）

​ 示例： mv /opt/dir1 /opt/dir111

​ mv /opt/dir111 /opt/dir1/dir2/dir3

2.4查询文件夹的命令

​ 格式：ls 文件夹名 (包含权限、日期等信息)

​ ll 文件夹名 (不包含权限、日期等信息)

​ 列出某一目录内的内容（内容包括子文件夹和文件）

​ ls 或 ll 列举出当前文件夹内的文件夹和文件

​ 示例： ls /opt

​ ll /opt

2.5 其他命令

目录切换命令

​ 格式：cd 目标路径

​ cd …/ (进入上级目录)

​ 示例 ： cd /opt

​ cd …/…/

软连接（快捷键）

​ 格式：ln -s 目标文件绝对路径 快捷方式路径

​ 示例：ln -s /opt/dir1/dir2/dir3 /dir3

当前位置

​ 格式：pwd

复制文件夹

​ 格式：cp -a 原文件夹 目标文件夹

练习：

​ 1、在/tmp目录下创建一个自己姓名的文件夹

​ 2、进入该文件夹，一次性创建文件夹/tmpdir1/tmpdir2/tmpdir3/tmpdir4/tmpdir5

​ 3、将文件夹tmpdir4及其子文件夹移动到与tmpdir1相同的目录

​ 4、创建tmpdir3的软连接到与tmpdir1相同的目录

​ 5、将tmpdir5 名称改为tmpdir555

​ 6、在目录tmpdir1下创建文件夹tmp1、tmp2、tmp3、tmp4

​ 7、查看tmpdir1目录下有哪些文件夹（包含详细信息）

​ 8、删除文件夹tmp1、tmp2、tmp3、tmp4

​ 9、一次性删除文件夹/tmp/姓名

03.文件常用命令

目标:文件的增、删、改、查的命令操作

3.1创建文件的命令

​ 创建空文件 - 格式：touch 文件名（文件存在、不存均可）

​ 创建有数据的文件 - 格式：echo ‘abc’ > 文件名(文件名不能存在)

​

​ 示例： touch test1.txt test2.txt test3.txt

​ echo ‘abc’ > test4.txt

3.2删除文件的命令（谨慎使用，谨慎使用，谨慎使用）

​ 格式：rm 文件夹 （有提示）

​ rm -f 文件 (取消提示)

​ rm -rf 文件 （递归删除）

​ rm -rf 结合通配符 * ? [abc][a-z]

​ rm -rf *.txt

​ 示例：rm -rf test1.txt test2.txt

参数 英文 含义
-r recursive (递归) 递归地删除目录下的内容, 删除文件夹 时必须加此参数
-f force (强制) 强制删除,忽略不存在的文件, 无需提示

3.3修改文件的命令

格式：mv  旧文件名       新文件名

​ 示例： mv test3.txt test333.txt

3.4查询文件的命令

查看文件信息

​ 格式：ls 文件夹名 文件名 (包含权限、日期等信息)

​ ll 文件夹名 文件名 (不包含权限、日期等信息)

​ 列出某一目录内的内容（内容包括子文件夹和文件）

​ ls 或 ll 列举出当前文件夹内的文件夹和文件

​ 示例： ls /opt

​ ll /opt

查看文件前10行数据

​ 格式 ： head 文件名 或 head -10 文件名

​ 示例 ： head test1.txt 或 head -10 test1.txt

查看文件后10行数据

​ 格式： tail 文件名 或 tail -10 文件名 或 tail -f 文件名

​ 示例 ： tail test1.txt 或tail -10 test1.txt

查看文件内容

​ 格式：more 文件名

​ 示例 ：more test1.txt

查看所有

​ 格式：cat 文件名

过滤查看

​ 格式：grep 关键字 文件名

​ 示例： grep is profile

3.5 其他命令

文件追加

​ 格式：echo ‘abcde’ >> 文件名

​ 示例：echo ‘abcde’ >> test4.txt

复制文件

​ ​ 复制文件夹

​ 格式：cp 原文件 目标文件

练习：

​ 1、创建文件夹/opt/tmp/

​ 2、在/opt/tmp/文件夹内，一次性创建空文件 test1.txt、 test2.txt、 test3.txt、 test4.txt

​ 3、在/opt/tmp/文件夹内，一次性创建文件 test5.txt ,文件内含有数字123456789

​ 4、将文件 test5.txt 改为 test555.txt

​ 5、向test555.txt 文件追加20行数据，第一行1、第二行2、第三行3、… …(或每行内容自己定)

​ 6、查看test555.txt 文件前8行数据

​ 7、查看test555.txt 文件后15行数据

​ 8、删除文件test555.txt

​ 9、删除文件 test1.txt、 test2.txt、 test3.txt、 test4.txt

常用命令补充

ls 命令选项

选项 英文 含义
-a all 显示指定目录下所有子目录与文件, 包含隐藏文件
（以 . 开头的文件为隐藏文件, 需要用 -a 参数才能显示）
-l 以列表方式显示文件的详细信息
-h human-readable 配合 -l 以人性化的方式显示文件大小
通配符 含义
* 代表 任意个数 的字符
? 代表任意一个字符, 且只能是一个
[abc] 匹配a、b、c中任意一个
[a-f] 匹配从a到f范围内的任意一个字符

cd 命令选项

命令 含义
cd - 可以在最近的两次目录之间切换

cat 命令选项

命令 含义
-n 显示行号
-b 非空行 显示行号

grep命令选项

​ grep 选项 关键字 文件名

命令 含义
-n 显示匹配行和行号
-i 忽略大小写
-v 显示 不包含关键字 的所有行
^a 行首,搜索以a开头的行
ke$ 行尾,搜索以ke结束的行

查阅命令帮助信息(知道)

因为一个命令有很多可选项, 死记硬背肯定不行, 所以需要借助手册查阅.

–help 帮助信息

command --help

说明:

  • 显示 command 命令的帮助信息

缺点: 虽然可以查询命令的帮助信息, 但是没有提供 翻页、搜索功能.

终端使用技巧

自动补全

  • 在敲出 文件/ 目录 / 命令 的前几个字母之后, 按下 tab键
  • 如果还存在其他 文件 / 目录 / 命令, 再按一下tab键, 系统会提示可能存在的命令 自动补全

相对路径，结对路径

现有目录节后如下

在dir1目录 进入dir2 或dir3

​ 相对路径进入 cd …/dir2 或 cd …/dir3

​ 绝对路径进入 cd /opt/dir2 或 /opt/dir3

在dir1目录 进入dir7 或dir8

​ 相对路径进入 cd …/…/dir7 或 cd …/…/dir8

​ 绝对路径进入 cd /tmp/dir7 或 /tmp/dir8

在mnt目录 进入dir9 或dir10

​ 相对路径进入 cd dir9 或 cd dir10

​ 绝对路径进入 cd /mnt/dir9 或 /mnt/dir10

总结：

​ 相对路径 ：输入路径时, 最前面不是以 “/” 开始的, 表示相对 当前目录 所在的位置

​ 不足：参照工作目录 发生变化 相对路径也要发生变化

​ 绝对路径 ：在输入路径时, 最前面是以 / 开始的, 表示 从 根目录 开始的具体目录位置

​ 优点: 定位准确, 不会因为 工作目录变化 而变化

04 其他命令

&& 和 ||

命令 作用
命令1 && 命令2 如果 命令1执行成功了, 才执行 命令2

如果 创建 目录 成功, 就提示 创建成功

mkdir -p 正确目录 && echo "提示创建目录成功"
命令 作用
命令1 || 命令2 如果 命令1 执行失败了, 才执行 命令2

如果 创建 目录 失败, 就提示 创建失败

mkdir 错误目录 || echo "提示创建目录失败"

====================================================================================================================================================================================

我把四篇笔记整合在一篇,如果不方便阅读,从可以看其余的三篇
Linux学习笔记系列:

大数据开发工程师基本功修炼之Linux学习笔记(二)

大数据开发工程师基本功修炼之Linux学习笔记(三)

大数据开发工程师基本功修炼之Linux学习笔记(四)

VI编辑器_终端编辑器(重点重点重点)

目标

  1. vi简介
  2. 打开和新建文件
  3. 三种工作模式
  4. 常用命令查询

1 简介

1.1 学习vi的目的

  • 在工作中, 要对 服务器上的 文件进行 简单 的修改, 可以使用 ssh 登录到远程服务器上, 并且使用 vi编辑器 进行简单的编辑即可

  • 需要修改的文件包括

    • 源代码
    • 配置文件
      • 例如: tomcat服务器的配置文件
      • 例如: 网卡信息的配置文件

    在没有图形界面的环境下, 要编辑文件, vi是最佳选择
    每一个使用linux的程序员,都应该或多或少的学习一些vi的常用命令

1.2 vi 和 vim

1.2.1 VI

  • vi是 visual interface的简称, 是linux中最经典的文本编辑器
  • vi 的核心设计思想
    • 让程序员的手指始终保持在键盘的 核心区域, 就能完成所有的编辑操作
  • vi的特点
    • 只能是编辑 文本内容, 不能对 字体 段落进行排版
    • 不支持鼠标操作
    • 没有菜单
    • 只有命令
  • vi编辑器在 系统管理 服务器管理 编辑文件时, 其功能永远不是图形界面的编辑器能比拟的

1.2.2 VIM

viM 是从vi发展出来的文本编辑器, 支持代码补全、编译 及 错误跳转等方便编程的功能提别丰富, 在程序员中被广泛使用, 被称为编辑器之神

2 打开和新建文件

  • 在终端中输入vim在后面跟上 文件名 即可
vim 文件名
  • 如果文件已经存在, 会直接打开该文件
  • 如果文件不存在, 保存且退出时 就会新建一个文件
1 vim 没有的文件名
2 编辑内容2.1 输出一行语句2.2 复制粘贴 2.1内容 19次2.3 保存且退出
3 查看

注意: 本节重点是 打开 和 新建文件, 其他命令后面会一一讲解

2.1 打开文件并且定位行

  • 在日常工作中, 有可能会遇到打开一个文件, 并定位到指定行的情况
  • 例如: 在开发是, 知道某一行代码有错误, 可以 快速定位 到出错误代码的位置
  • 这个时候, 可以使用以下命令打开文件
vim 文件名 +行数

提示: 如果只带上+ 而不指定行号, 会直接定位到文件末尾

2.2 VI三种工作模式

  • VI有三种工作模式
  1. 命令模式

    • 打开文件首先进入命令模式, 是使用vi的入口
    • 通过 命令 对文件进行常规的编辑操作, 例如 定位 翻页 复制 粘贴 删除 … …
    • 在其他图形编辑器下, 通过 快捷键 或者 鼠标 实现的操作, 都在 命令模式 下实现
  2. 末行模式 – 执行 保存 退出等操作
    • 要退出 vi 返回到控制台, 需要在莫行模式下输入命令
    • 末行模式 是 vi 的出口
  3. 编辑模式 – 正常的编辑文字

2.4 末行模式命令

命令 英文 功能
w write 保存
q quit 退出,如果没有保存,不允许退出
q! quit 强行退出,不保存退出
wq write & quit 保存且退出(莫行模式)
x 保存并退出(莫行模式)
ZZ 保存并退出(命令模式)

3 常用命令

学习提示

  1. vi命令较多, 不要期望一下子全部都记住, 个别命令忘记了, 只是会影响编辑速度而已
    . 在使用vi命令时, 注意 关闭中文输入法

3.1 移动

要熟练使用vi, 首先应该学会怎么在 命令模式下 快速移动光标
编辑操作命令 能够和移动命令一起使用

1) 上 下 左 右

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U5rRQWfx-1624685398652)(F:/%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2/%E4%BC%A0%E6%99%BA%E4%B8%93%E4%BF%AE%E5%AD%A6%E9%99%A2/1812/01linux/%E8%AE%B2%E4%B9%89/02_%E6%89%93%E5%8C%85%E5%8E%8B%E7%BC%A9_vim%E7%BC%96%E8%BE%91%E5%99%A8_%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86_%E7%94%A8%E6%88%B7%E6%9D%83%E9%99%90/%E7%AC%94%E8%AE%B0/assets/1558278451153.png)]

命令 功能 手指
h 向左 食指
j 向下 食指
k 向上 中指
l 向右 无名指

2) 行内移动

命令 英文 功能
w word 向后移动一个单词
b back 向前移动一个单词
0 行首
^ 行首, 第一个不是空白字符的位置
$ 行尾

3) 行数移动

命令 英文 功能
gg go 文件顶部
G go 文件末尾
数字gg go 移动到 数字 对应行数
数字G go 移动到 数字 对应行数
: 数字 移动到数字对应的 行数

4) 屏幕移动

命令 英文 功能
Ctrl + b back 向上翻页
Ctrl + f forward 向下翻页
H Head 屏幕顶部
M Middle 屏幕中间
L Low 屏幕底部

3.2 移动(程序)

1) 段落移动

  • vim中使用 空行 来区分段落

  • 程序开发时, 通常 一段功能相关的代码会写在一起 – 之间没有空行

    命令 功能
    { 上一段
    } 下一段

2) 括号切换

  • 在程序世界中, **()、[]、{}**使用率很高, 而且 都是成对出现的.

    命令 功能
    % 括号匹配及切换

3.3 选中文本(可视模式)

  • 学习 复制 命令前, 应该先学会 怎么样选中 要复制的代码
  • 在 vi 中要选择文本, 需要显示 visual 命令切换到 可视模式
  • vi 中提供了 三种 可视模式, 可以方便程序员的选择 选中文本的方式
  • 按 ESC 可以放弃选中, 返回到 命令模式
命令 模式 功能
v 可视模式 从光标位置开始按照正常模式选择文本
V 可视化模式 选中光标经过的完整行
Ctrl + v 可视块模式 垂直方向选中文本
  • 可视模式下, 可以和 移动命令 连用, 例如 ggVG 能够 选中所有的内容

3.4 撤销和恢复撤销(保命指令)

在学习编辑命令之前,先要知道怎样撤销之前一次 错误的 编辑操作

命令 英文 功能
u undo 撤销上次的命令(ctrl + z)
Ctrl + r uredo 恢复撤销的命令

3.5 删除文本

命令 英文 功能
x cut 删除光标所在的字符,或者选中的文字
d(移动命令) delete 删除移动命令对应的内容
dd delete 删除光标所在行, 可以ndd删除多行
D delete 删除至行尾

提示: 如果使用 可视模式 已经选中了一段文本, 那么无论使用 d 还是 x, 都可以删除选中文本

删除命令可以和移动命令连用, 以下是常见的组合命令:

命令 作用
dw 从光标位置删除到单词末尾
d0 从光标位置删除到一行的起始位置
d} 从光标位置删除到段落末尾
ndd 从光标位置向下连续删除 n 行

3.6 复制和剪切

  • vi 中提供有一个 被复制文本的缓冲区

    • 复制 命令会将选中的文字保存在缓冲区
    • 删除 命令删除的文字会被保存在缓冲区
    • 在需要的位置, 使用 粘贴 命令可以将缓冲对的文字插入到光标所在的位置
命令 英文 功能
y(复制命令) copy 复制
yy copy 复制一行,可以nyy复制多行
d(剪切命令) delete 剪切
dd(剪切) delete 剪切一行, 可以 ndd 剪切n行
p paste 粘贴

提示:

  • 命令 d 、x 类似于图形界面的 剪切操作 – ctrl + x
  • 命令 y 类似于 图形界面的 复制操作 – Ctrl + C
  • 命令 p 类似于图形界面的 粘贴操作 – Ctrl + v
  • vi中的文本缓冲区只有一个,如果后续做过 复制、剪切操作, 之前缓冲区中的内容会被替换.

注意

  • vi中的 文本缓冲区 和 系统的 剪切板 不是同一个
  • 所以在其他软件中使用 Ctrl + C 复制的内容, 不能再 vi 中通过 p 命令粘贴
  • 可以在 编辑模式 下使用 鼠标右键粘贴

3.7 替换

命令 英文 功能 工作模式
r replace 替换当前字符 命令模式
R replace 替换当前行光标后的字符 替换模式
  • R 命令可以进入 替换模式, 替换完成后, 按下ESC , 按下 ESC 可以回到 命令模式
  • 替换命令 的作用就是不用进入 编辑模式, 对文件进行 轻量级的修改

3.8 查找

常规查找

命令 功能
/str 查找str

  • 查找到指定内容之后, 使用 Next 查找下一个出现的位置

    • n : 查找下一个
    • N : 查找上一个

  • 如果不想看到高亮显示, 可以随便查找一个文件中不存在的内容即可

  • 单词快速匹配

命令 功能
* 向后查找当前光标所在单词
# 向前查找当前光标所在单词
  • 在开发中, 通过单词快速匹配, 可以快速看到这个单词在其他位置使用过

3.9 查找并替换

  • 在 vi 中查找和替换命令需要在 末行模式 下执行
  • 记忆命令格式
:%s///g
  1. 全局替换

  • 一次向 替换文件中的 所有出现的旧文本

  • 命令格式如下

    :%s/旧文本/新文本/g
  1. 可视区域替换
  • 先选中 要替换文字的 范围
  • 命令格式如下
:s/旧文本/新文本/g
  1. 确认替换

c confirm 确认

  • 如果把末尾的 g 改成 gc 在替换的时候, 会有提示! 推荐使用

  • 命令格式如下

    :%s/旧文本/新文本/gc
  1. y - yes 替换
  2. n - no 不替换
  3. a - all 替换所有
  4. q -quit 退出替换
  5. l - last 最后一个, 并把光标移动到行首
  6. ^E 向下滚屏
  7. ^Y 向上滚屏

3.10 插入命令(重要)

  • 在 vi 中除了常用 i 进入编辑模式 外, 还提供了一下命令同样可以进入编辑模式
命令 英文 功能 常用
i insert 在当前字符前插入文本 常用
I insert 在行首插入文本 较常用
a append 在当前字符后添加文本
A append 在行末添加文本 较常用
o 在当前行后面插入一空行 常用
O 在当前行前面插入一空行 常用

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RqHjJGgN-1624685398655)(F:/%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2/%E4%BC%A0%E6%99%BA%E4%B8%93%E4%BF%AE%E5%AD%A6%E9%99%A2/1812/01linux/%E8%AE%B2%E4%B9%89/02_%E6%89%93%E5%8C%85%E5%8E%8B%E7%BC%A9_vim%E7%BC%96%E8%BE%91%E5%99%A8_%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86_%E7%94%A8%E6%88%B7%E6%9D%83%E9%99%90/%E7%AC%94%E8%AE%B0/assets/1558543477231.png)]

3.11 练习

演练1 – 编辑命令 和 数字连用

  • 在开发中, 可能会遇到连续输入 N 个同样的字符
  • 例如: ********** 连续10个星号

要实现这个效果可以在 命令模式 下

  1. 输入 10, 表示要重复10次
  2. 输入 i 进入 编辑模式
  3. 输入 * 也就是重复的文字
  4. 按下 ESC 返回 命令模式, 返回之后 vi 就会把 第 2、3 两步的操作重复 10 次

提示： 正常开发时， 在 进入编辑模式之前，不要按数字

搜索命令

2.find 搜索

准备工作
切换目录到 /export/ 且 清空内容

cd /export/ && rm -rf /export/* && tree

新增目录 且 切换目录 且 新增文件

mkdir -p /export/aaa/bbb/ccc/ddd/eee/
touch /export/aaa/bbb/ccc/ddd/eee/abc.txt
touch /export/aaa/123.txt
touch /export/aaa/312.txt

查看 /export 目录中的内容

tree /export

目标

  • 通过find命令 在特定目录下(包含它的后代目录) 搜索 符合条件的文件

2.1 路径

  • 第一步: 搜索指定目录下, 文件是 abc.txt的文件
  • 第二步: 搜索指定目录下, 文件名 包含 1 的文件
  • 第三步: 搜索指定目录下,所有以.txt 为扩展名的文件
  • 第四步: 搜索指定目录下, 以数字1开头的文件

2.2实现 : 在指定目录中 根据名称 搜索

  • 命令格式

序号 命令格式 作用
01 find [路径] -name ‘*.txt’ 查找指定路径下扩展名是 .txt的文件, 包括子目录
  • 如果省略路径, 表示在当前文件夹下查找
  • 之前学习的通配符, 在使用find命令时同时可用

  • 第一步: 搜索指定目录下, 文件是 abc.txt的文件

# ===================实现目标============================
# 方式一: 指定全目录
find /export/ -name 'abc.txt'
# 方式二: 当前目录
find . -name 'abc.txt'
# 方式三: 当前目录 可以 省略 不写
find -name 'abc.txt'

  • 第二步: 搜索指定目录下, 文件名 包含 1 的文件

# =================准备工作===============
# 1 创建测试文件
touch /export/12.txt /export/616.txt /export/321.txt  # =================实现目录===============
find /export/ -name "*1*"

  • 第三步: 搜索指定目录下,所有以.txt 为扩展名的文件

find /export/ -name "*.txt"

  • 第四步: 搜索指定目录下, 以数字1开头的文件

find /export -name "1*"

2.3 小结

  • 通过 find [path] -name "*1*" 完成根据名称搜索文件

解压缩命令

  • 准备工作
# 清空指定目录内容
cd /export/ && rm -rf *# 创建测试文件
touch 1.txt 2.txt 3.txt# 创建有内容的测试目录
mkdir -p /export/aaa/
touch /export/aaa/4.txt /export/aaa/5.txt# 查看结果
tree /export

目标

  • 从第三方 下载 压缩包, 解压缩后 安装到 服务器上
  • 通过 打包压缩 备份文件

jar : java rar java项目的压缩包

war : web rar web项目的压缩包

路径

  • 2.1 第一步: 打包 和 解包

  • **2.2 第二步: 打包压缩 和 解包解压缩 **

3.实现

3.1 第一步: 打包 和 解包

3.1.1 打包

  • 类似将 冬天的衣服 放到 袋

  • 打包之后的大文件 需要以 .tar 结尾.

tar 打包命令格式

# 将 一系列文件 打包成 一个大文件
tar -cvf 打包名.tar 被打包的目录
tar -cvf 打包名.tar 被打包的文件1 被打包的文件2 被打包的文件3

tar 选项说明

命令 英文 含义
c create 生成档案文件, 创建打包文件
v verbosely(啰嗦的) 像 ‘唐僧’ 一样报告进度
f file 指定档案的文件名称, f后面一定是 .tar 文件, 所以必须放到左后 
练习1: 将1.txt、2.txt、3.txt 打包成 123.tar文件练习2: 将有内容的aaa目录 打包成 aaa.tar 文件

3.1.2 解包

  • 类似将 冬天的衣服 从 袋子里取出来

tar 解包命令格式

# 将一个打包后的 分解成 一系列小文件, 分解位置为 当前目录
tar -xvf 打包名.tar# 将一个打包后的 分解成 一系列小文件, 分解位置为 指定目录
tar -xvf 打包名.tar -C 解包路径位置
命令 英文 含义
x extract (提取) 解包
C (大写C) directory (目录) 默认保存到当前目录, 通过-C 更改解压目录, 注意: 解压目录必须存在 
练习1: 将 123.tar 解压到 当前目录中练习2: 将 aaa.tar 解包到 /export/test/a1/b1/c1/ 目录中

小结

打包: tar -cvf 打包之后的文件名.tar   被打包的目录或文件名解包: tar -xvf 打包之后的文件名.tar  [ -C  指定解包位置 ]

  • 准备工作

    # 清空指定目录内容
cd /export/ && rm -rf *# 创建测试文件
touch 1.txt 2.txt 3.txt# 创建有内容的测试目录
mkdir -p /export/aaa/
touch /export/aaa/4.txt /export/aaa/5.txt# 查看结果
tree /export

3.2 第二步: 使用gzip格式 压缩 和 解压缩

  • 打包 和 压缩 是两件事

  • 类似与 先将冬天衣服放到压缩袋, 再抽取里面的空气

  • 在 Linux 中, 最常用的压缩文件格式是 xxx.tar.gz

  • 在 tar 命令中有一个选项 -z 可以调用 gzip , 从而可以方便的实现压缩和解压缩的功能

命令格式如下

# 压缩文件
tar -zcvf 打包压缩文件名.tar.gz 被压缩的文件/目录# 解压缩文件(记忆敲门: 至孝潍坊)
tar -zxvf 打包文件.tar.gz# 解压缩到指定路径
tar -zxvf 打包文件.tar.gz -C 目录路径

tar 的选项说明

命令 英文 含义
z gzip 使用gzip压缩和解压缩
j bzip2 使用bzip2压缩和解压缩 
练习1: 将1.txt、2.txt、3.txt 打包压缩成 123.tar.gz文件(gzip压缩格式)练习2: 将有内容的aaa目录 打包成 aaa.tar.gz 文件(gzip压缩格式)练习3: 将 123.tar.gz 解压到 当前目录中(gzip压缩格式)练习4: 将 aaa.tar.gz 解包到 /export/bbb 目录中(gzip压缩格式)

小结

打包压缩: tar -zcvf 打包之后的文件名.tar.gz   被打包压缩的目录或文件名解包解压缩: tar -zxvf 打包之后的文件名.tar.gz  [ -C  指定解包位置 ]

  • 准备工作

    # 清空指定目录内容
cd /export/ && rm -rf *# 创建测试文件
touch 1.txt 2.txt 3.txt# 创建有内容的测试目录
mkdir -p /export/aaa/
touch /export/aaa/4.txt /export/aaa/5.txt# 查看结果
tree /export

3.3 第三步: 使用 bzip2 格式 压缩 和 解压缩

  • bzip 是压缩的第二种方式
  • 类似与 先将冬天衣服放到压缩袋, 再抽取里面的空气
  • 在 Linux 中, bzip2 压缩文件格式是 xxx.tar.bz2
  • 在 tar 命令中有一个选项 -j 可以调用 bzip2 , 从而可以方便的实现压缩和解压缩的功能

命令格式如下

# 压缩文件
tar -jcvf 打包压缩文件名.tar.bz2 被压缩的文件/目录# 解压缩文件 (绩效潍坊)
tar -jxvf 打包文件.tar.bz2# 解压缩到指定路径
tar -jxvf 打包文件.tar.bz2 -C 目录路径

tar 的选项说明

命令 英文 含义
z gzip 使用gzip压缩和解压缩
j bzip2 使用bzip2压缩和解压缩 
练习1: 将1.txt、2.txt、3.txt 打包压缩成 123.tar.bz2文件(bzip2压缩格式)练习2: 将有内容的aaa目录 打包成 aaa.tar.bz2 文件(bzip2压缩格式)练习3: 将 123.tar.bz2 解压到 当前目录中(bzip2压缩格式)练习4: 将 aaa.tar.bz2 解包到 /export/bbb 目录中(bzip2压缩格式)

小结

打包压缩: tar -jcvf 打包之后的文件名.tar.bz2   被打包压缩的目录或文件名解包解压缩: tar -jxvf 打包之后的文件名.tar.bz2  [ -C  指定解包位置 ]

关机

halt

重启

reboot

4 用户权限相关命令

目标

  • 理解 用户 和 权限 的基本概念
  • 用户管理 终端命令
  • 组管理 终端命令
  • 修改权限 终端命令

用户和权限的基本概念

4.1 基本概念

  • 用户 是Linux系统工作中重要的一环, 用户管理包括 用户 与 组 管理

  • 在Linux系统中, 不论是由本级或是远程登录系统, 每个系统都必须拥有一个账号, 并且对于不同的系统资源拥有不同的使用权限

  • 对 文件 / 目录 的权限包括:

序号 权限 英文 缩写 数字序号
01 读 read r 4
02 写 write w 2
03 执行 execute x 1
04 无权限 - 0
  • 在 Linux中 ,可以指定 每一个用户 针对 不同的文件或者目录 的 不同权限

4.2 组

  • 为了方便用户管理, 提出了 组 的概念, 如下图所示

4.3 ls -l 扩展

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lwckbqR0-1624685398660)(assets%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5C1570973470529.png)]

  • ls -l 可以查看文件夹下文件的详细信息, 从左到右 依次是:

    • 权限, 第一个字符如果是 d 表示目录
    • 硬链接数, 通俗的讲就是有多少种方式, 可以访问当前目录和文件
    • 拥有者, 家目录下 文件 / 木兰路 的拥有者通常都是 当前用户
    • 组, 在linux中, 很多时候, 会出现组名 和 用户名 相同的情况, 后续会讲
    • 大小
    • 时间
    • 名称

4.4.组管理 终端命令

本质: 给 同一类型用户 分配权限

序号 命令 作用
01 groupadd 组名 添加组
02 groupdel 组名 删除组
03 cat /etc/group 确认组信息
04 chgrp 组名 文件/目录名 修改文件/目录的所属组

提示:

  • 组信息保存在 /etc/group 文件中
  • /etc 目录是专门用来保存 系统配置信息 的目录
  • 在实际应用中, 可以预先针对 组 设置好权限, 然后 将不同的用户添加到对应的组中, 从而不用依次为每一个用户设置权限

演练目标

  1. 在 指定目录下 创建 aaa 目录
  2. 新建 dev 组
  3. 将 aaa 目录的组修改为 dev

4.5.用户管理 终端命令

（1） 创建用户 / 设置密码 / 删除用户

命令 作用 说明
useradd -m -g 组 新建用户名 添加新用户 -m 自动建立用户家目录
-g 指定用户所在的组, 否则会建立一个和同名的组
passwd 用户名 设置用户密码 如果是普通用户,
直接用 passwd可以修改自己的账号密码
userdel -r 用户名 删除用户 -r 选项会自动删除用户家目录
cat /etc/passwd | grep 用户名 确认用户信息 新建用户后,用户信息会保存在 /etc/passwd文件夹中

提示:

  • 创建用时, 如果忘记添加 -m 选项指定新用户的家目录 – 最简单的方式就是删除用户,重新创建
  • 创建用户时, 默认会创建一个和用户名同名的组名
  • 用户信息保存在 /etc/passwd 文件中

/etc/passwd 文件存放的是用户的信息, 由6个分好组成的7个信息, 分别是

  1. 用户名
  2. 密码 (x, 表示加密的密码)
  3. UID (用户标志)
  4. GID(组标志)
  5. 用户全名或本地账号
  6. 家目录
  7. 登录使用的Shell, 就是登录之后, 使用的终端命令

（2） 查看用户信息

序号 命令 作用
01 id [用户名] 查看用户UID 和 GID 信息
02 who 查看当前所有登录的用户列表
03 whoami 查看当前登录用户的账户名

（3） su 切换用户

  • 因为 普通用户 不能使用某些权限, 所以需要 切换用户
序号 命令 作用 说明
01 su - 用户名 切换用户, 并且企划目录 - 可以切换到用户家目录, 否则保持位置不变
02 exit 退出当前登录用户
  • su 不接用户名, 可以切换到 root , 但是不推荐使用, 因为不安全
  • exit 示意图如下:

（4） sudo

  • 虽然 通过 su -u root 可以切换到 root用户, 但是 存在严重的 安全隐患

  • linux系统中的 root 账号通常 用于系统的维护和管理, 对操作系统的所有资源 具有访问权限

  • 如果不小心使用 rm -rf ... ... , 就可能将系统搞瘫痪

  • 在大多数版本的linux中, 都不推荐 直接只用 root 账号登录系统

  • sudo 命令用来以其他身份来执行命令, 预设的身份为 root

  • 用户使用 sudo 时, 必须先输入密码, 之后5分钟的有效期限, 超过期限则必须重新输入密码

    提示: 若其未经授权的用户企图使用 sudo, 则会发出警告邮件给管理员

（4.1） 给 指定用户 授予 权限

  • 本质: 通知 服务器 给 特定用户 分配 临时管理员权限

vim /etc/sudoers

# 默认存在: root用户 具备所有的权限
root    ALL=(ALL)       ALL# 授予 zhangsan 用户 所有的权限
zhangsan    ALL=(ALL)       ALL

（4.2） 使用 用户 zhangsan 登录, 操作管理员命令

  • 本质: 使用临时管理员权限
# 不切换root用户, 也可以完成 添加用户的功能
sudo useradd -m -g dev zhaoliu

准备工作: 使用root用户操作

# 清空目录中的内容
rm -rf /export/*# 创建测试目录
mkdir -p /export/aaa/# 创建测试文件
touch /export/aaa/01.txt /export/aaa/02.txt# 查看指定目录内容
tree /export

（5）.修改用户权限

序号 命令 作用
01 chmod 修改权限

5.1 方式一: 修改用户权限

  • chmod 可以修改 用户/组 对 文件/目录 的权限

  • 命令格式如下:

    chmod +/- rwx 文件名|目录名

    提示: 已上方式会一次向修改 拥有者 / 组权限

目标演练:

# 1. 使用 root 删除目录的可读 可写 可执行权限# 2. 使用 其他用户如 zhangsan 无法切换到 这个目录# 3. 使用 root 增加目录的执行权限, 再次 使用 zhangsan 切换到目录试试

5.2 方式二

  • 虽然 方式一 直接修改文件|目录的 读|写|执行 权限, 但是不能精确到 拥有者|组|其他 权限
  • 命令格式如下:( u 表示所属用户 / g 表示所属组 / o 表示其他)
chmod -R u=rwx,g=rx,o=rwx 文件|目录
序号 权限 英文 缩写 数字序号
01 读 read r 4
02 写 write w 2
03 执行 execute x 1
04 无权限 - 0

目标演练:

# 1 使用root用户给 所属用户分配 可读、可写、可执行 权限, 所属组 分配 可读、可执行 权限, 其他人 分配 可读、可执行 权限

5.3 方式三: 简化方式二

  • 命令格式如下:
chmod -R 755 文件|目录
  • 说明 第一个数字 是 拥有者权限, 第二个数字 是 组权限, 第三个数字 是 其他用户权限

常用数字组合有( u 表示用户 / g 表示组 / o 表示其他)

  • 777 ===> u=rwx, g=rwx, o=rwx
  • 755 ===> u=rwx, g=rx, o=rx
  • 644 ===> u=rw, g=r, o=r

目标演练:

# 1 使用root用户给 所属用户分配 可读、可写、可执行 权限, 所属组 分配 可读、可执行 权限, 其他人 分配 可读、可执行 权限

系统信息相关命令

  • 本节内容主要是为了方便通过远程终端维护服务器时, 查看服务器上当前 系统日期和时间 / 磁盘空间占用情况 /程序执行情况
  • 本小结学习终端命令都是查询命令, 通过这些命令对系统资源的使用情况有个了解

目标

  • 时间和日期

    • date
    • cal
  • 磁盘和目录空间
    • df
    • du
  • 进程信息
    • ps
    • top
    • kill

1.时间和日期

1.1 date 时间

命令 作用
date 查看系统时间(默认)
date +"%Y-%m-%d %H:%M:%S" 查看系统时间(指定格式)
date -s “时间字符串” 设置系统时间

第一步: 显示当前时间

# 显示时间
date# 按照指定格式显示时间
date +"%Y-%m-%d %H:%M:%S"

第二步: 设置系统时间

date -s "时间字符串"

1.2 cal 日历

序号 命令 作用
01 cal 查看当前月的日历
02 cal -y 查看当前年的日历
03 cal 2020 查看2020年的日历
04 cal 10 2020 查看2020年10月的日历

02.磁盘信息

序号 命令 作用
01 df -h disk free 显示磁盘剩余空间
02 du -h [目录名] disk usage 显示目录下的目录大小
  • 选项说明
参数 含义
-h 以人性化的方式显示文件的大小

03.进程信息

  • 所谓 进程, 通俗的说就是 当前正在执行的一个进程
序号 命令 作用
01 ps aux process status 查看进程的详细情况
02 top 动态显示运行中进程并且排序
03 kill [-9] 进程代号 终止指定代号的进程 -9 表示强行终止

ps 默认只会显示当前用户通过终端启动的应用程序

  • ps 选项说明功能

    选项 含义
    a 显示终端上的所有进程,包括其他用户的进程
    u 显示进程的详细状态
    x 显示没有控制终端的进程

    提示: 使用kill命令时, 最好只终止由当前用户开启的进程, 而不要终止root身份开启的进程, 否则可能导致系统崩溃

  • 要退出 top 可以直接输入 q

top

us 用户空间占用CPU百分比
sy 内核空间占用CPU百分比
ni 用户进程空间内改变过优先级的进程占用CPU百分比
id 空闲CPU百分比
wa 等待输入输出的CPU时间百分比
hi 硬件中断
si 软件中断
st: 实时

PID 进程号
USER 用户名
PR 优先级
NI nice值。负值表示高优先级，正值表示低优先级m
RES 进程使用的、未被换出的物理内存大小，单位kb
SHR 共享内存大小，单位kb
S 进程状态。
D=不可中断的睡眠状态
R=运行
S=睡眠
T=跟踪/停止
Z=僵尸进程
%CPU CPU使用率
%MEM 进程使用的物理内存百分比
TIME+ 进程使用的CPU时间总计，单位1/100秒
COMMAND 执行的命令

管道相关命令

目标

  • cut
  • sort
  • wc
  • uniq
  • tee
  • tr
  • split
  • awk
  • sed
  • grep

  • 准备工作

    zhangsan 68 99 26
lisi 98 66 96
wangwu 38 33 86
zhaoliu 78 44 36
maq 88 22 66
zhouba 98 44 46

  • 以上是成绩表信息

  • 使用 逗号 分割, 第一列 是 姓名, 第二列是 语文成绩, 第三列是 数学成绩, 第四列是 英语成绩

准备工作

vim 1.txt

111:aaa:bbb:ccc
222:ddd:eee:fff
333:ggg:hhh
444:iii

1 cut

1.1 目标

  • cut 根据条件 从命令结果中 提取 对应内容

1.2 实现

第一步: 截取出1.txt文件中前2行的第5个字符

命令 含义
cut 动作 文件 从指定文件 截取内容
  • 参数
参数 英文 含义
-c characters 按字符选取内容 
head -2 1.txt | cut -c 5

第二步: 截取出1.txt文件中前2行以”:”进行分割的第1,2段内容

参数 英文 含义
-d '分隔符' delimiter 指定分隔符
-f n1,n2 fields 分割以后显示第几段内容, 使用 , 分割

范围控制

范围 含义
n 只显示第n项
n- 显示 从第n项 一直到行尾
n-m 显示 从第n项 到 第m项(包括m) 
head -2 1.txt | cut -d ':' -f 1,2

head -2 1.txt | cut -d ':' -f 1-2

1.3 小结

  • 通过 cut 动作 目标文件 可以根据条件 提取对应内容

  • 准备工作

    vim score.txt

    zhangsan 68 99 26
lisi 98 66 96
wangwu 38 33 86
zhaoliu 78 44 36
maq 88 22 66
zhouba 98 44 46

2 sort

2.1 目标

  • sort可针对文本文件的内容，以行为单位来排序。

2.2 路径

  • 第一步: 对字符串排序
  • 第二步: 去重排序
  • 第三步: 对数值排序
  • 第四步: 对成绩排序

2.3 实现

第一步: 对字符串排序

[root@node01 tmp]# cat 2.txt
banana
apple
pear
orange
pear[root@node01 tmp]# sort 2.txt
apple
banana
orange
pear
pear

第二步: 去重排序

参数 英文 含义
-u unique 去掉重复的

它的作用很简单，就是在输出行中去除重复行。

[root@node01 tmp]# sort -u 2.txt
apple
banana
orange
pear

第三步: 对数值排序

参数 英文 含义
-n numeric-sort 按照数值大小排序
-r reverse 使次序颠倒

  • 准备数据

    [root@node01 tmp]# cat 3.txt
1
3
5
7
11
2
4
6
10
8
9

  • 默认按照字符串排序

    [root@node01 tmp]# sort 2.txt
1
10
11
2
3
4
5
6
7
8
9

  • 升序

    [root@node01 tmp]# sort -n 2.txt
1
2
3
4
5
6
7
8
9
10
11

  • 倒序

    [root@node01 tmp]# sort -n -r 2.txt
11
10
9
8
7
6
5
4
3
2
1

  • 合并式

    [root@node01 tmp]# sort -nr 2.txt
11
10
9
8
7
6
5
4
3
2
1

第四步: 对成绩排序

参数 英文 含义
-t field-separator 指定字段分隔符
-k key 根据那一列排序

‘’

# 根据第二段成绩 进行倒序显示 所有内容
sort -t ',' -k2nr score.txt

3 wc命令

3.1 目标

  • 显示指定文件 字节数, 单词数, 行数 信息.

3.2 路径

  • 第一步: 显示指定文件 字节数, 单词数, 行数 信息.
  • 第二步: 只显示 文件 的行数
  • 第三步: 统计多个文件的 行数 单词数 字节数
  • 第四步: 查看 /etc 目录下 有多少个 子内容

3.3 实现

第一步: 显示指定文件 字节数, 单词数, 行数 信息.

命令 含义
wc 文件名 显示指定文件 字节数, 单词数, 行数 信息 
[root@hadoop01 export]# cat 4.txt
111
222 bbb
333 aaa bbb
444 aaa bbb ccc
555 aaa bbb ccc ddd
666 aaa bbb ccc ddd eee[root@hadoop01 export]# wc 4.txt 6 21 85 4.txt

第二步: 只显示 文件 的行数

参数 英文 含义
-c bytes 字节数
-w words 单词数
-l lines 行数 
[root@hadoop01 export]# wc 4.txt 6 21 85 3.txt

第三步: 统计多个文件的 行数 单词数 字节数

[root@hadoop01 export]# wc 1.txt 2.txt 3.txt 4   4  52 1.txt11  11  24 2.txt6  21  85 3.txt21  36 161 总用量[root@hadoop01 export]# wc *.txt4   4  52 1.txt11  11  24 2.txt6  21  85 3.txt6   6  95 score.txt27  42 256 总用量

第四步: 查看 /etc 目录下 有多少个 子内容

[root@hadoop01 export]# ls /etc | wc -w
240

3.4 小结

  • 通过 wc 文件 就可以 统计 文件的 字节数、单词数、行数.

4 uniq

uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。

4.1 目标

  • uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。

4.2路径

  • 第一步：实现去重效果
  • 第二步：不但去重，还要 统计出现的次数

4.3 实现

第一步：实现去重效果

命令 英文 含义
uniq [参数] 文件 unique 唯一 去除重复行 
# 准备内容
[root@hadoop01 export]# cat 5.txt
张三    98
李四    100
王五    90
赵六    95
麻七    70
李四    100
王五    90
赵六    95
麻七    70# 排序
[root@hadoop01 export]# cat 5.txt | sort
李四    100
李四    100
麻七    70
麻七    70
王五    90
王五    90
张三    98
赵六    95
赵六    95# 去重
[root@hadoop01 export]# cat 5.txt | sort | uniq
李四    100
麻七    70
王五    90
张三    98
赵六    95

第二步：不但去重，还要 统计出现的次数

参数 英文 含义
-c count 统计每行内容出现的次数 
[root@hadoop01 export]# cat 5.txt | sort | uniq -c2 李四    1002 麻七    702 王五    901 张三    982 赵六    95

4.4 小结

  • 通过 uniq [选项] 文件 就可以完成 去重行 和 统计次数

5 tee

5.1 目标

  • 通过 tee 可以将命令结果 通过管道 输出到 多个文件中

5.2 实现

命令 含义
命令结果 | tee 文件1 文件2 文件3 通过 tee 可以将命令结果 通过管道 输出到 多个文件中

  • 将去重统计的结果 放到 a.txt、b.txt、c.txt 文件中

    cat 5.txt | sort | uniq -c | tee a.txt b.txt c.txt

5.3 小结

  • 通过 tee 可以将命令结果 通过管道 输出到 多个文件中

6 tr

6.1 目标

  • 通过 tr 命令用于 替换 或 删除 文件中的字符。

6.2 路径

  • 第一步: 实现 替换 效果
  • 第二步: 实现 删除 效果
  • 第三步: 完成 单词计数 案例

6.3 实现

第一步: 实现 替换效果

命令 英文 含义
命令结果 | tr 被替换的字符 新字符 translate 实现 替换效果 
# 将 小写i 替换成  大写 I
# 把itheima的转换为大写
# 把 HELLO 转成 小写

# 将 小写i 替换成  大写 I
echo "itheima" | tr 'i' 'I'# 把itheima的转换为大写
echo "itheima" |tr '[a-z]' '[A-Z]'# 把 HELLO 转成 小写
echo "HELLO" |tr '[A-Z]' '[a-z]'

第二步: 实现删除效果

命令 英文 含义
命令结果 | tr -d 被删除的字符 delete 删除指定的字符
  • 需求: 删除abc1d4e5f中的数字
echo 'abc1d4e5f' | tr -d '[0-9]'

第三步: 单词计数

准备工作
[root@hadoop01 export]# cat words.txt
hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop

1 将, 换成 换行

2 排序

3 去重

4 计数

# 统计每个单词出现的次数
[root@hadoop01 export]# cat words.txt | tr ',' '\n' | sort | uniq -c1 flume2 hadoop2 hello1 hive1 jerry1 kitty1 sqoop1 tom2 world

  • 准备工作

    # 查看 /etc目录下 以.conf以结尾的文件的内容
cat -n /etc/*.conf# 将命令结果 追加到 /export/v.txt 文件中
cat -n /etc/*.conf >> /export/v.txt

7 split

7.1 目标

  • 通过 split 命令将大文件 切分成 若干小文件

7.2 路径

  • 第一步: 按 字节 将 大文件 切分成 若干小文件
  • 第二步: 按 行数 将 大文件 切分成 若干小文件

7.3 实现

第一步: 按 字节 将 大文件 切分成 若干小文件

命令 英文 含义
split -b 10k 文件 byte 将大文件切分成若干10KB的小文件

第二步: 按 行数 将 大文件 切分成 若干小文件

命令 英文 含义
split -l 1000 文件 lines 将大文件切分成若干1000行 的小文件

7.4 小结

  • 通过 split 选项 文件名 命令将大文件 切分成 若干小文件

  • 准备工作1:

    vim score.txt

    zhangsan 68 99 26
lisi 98 66 96
wangwu 38 33 86
zhaoliu 78 44 36
maq 88 22 66
zhouba 98 44 46

8 awk

8.1 目标

  • 通过 awk 实现 模糊查询, 按需提取字段, 还可以进行 判断 和 简单的运算等.

8.2 步骤

  • 第一步: 模糊查询

  • 第二步: 指定分割符, 根据下标显示内容

  • 第三步: 指定输出字段的分割符

  • 第四步: 调用 awk 提供的函数

  • 第五步: 通过if语句判断$4是否及格

  • 第六步: 段内容 求和

8.3 实现

第一步: 搜索 zhangsan 和 lisi 的成绩

命令 含义
awk ‘/zhangsan|lisi/’ score.txt 模糊查询

第二步: 指定分割符, 根据下标显示内容

命令 含义
awk -F ‘,’ ‘{print $1, $2, $3}’ 1.txt 操作1.txt文件, 根据 逗号 分割, 打印 第一段 第二段 第三段 内容

选项

选项 英文 含义
-F ',' field-separator 使用 指定字符 分割
$ + 数字 获取第几段内容
$0 获取 当前行 内容
NF field 表示当前行共有多少个字段
$NF 代表 最后一个字段
$(NF-1) 代表 倒数第二个字段
NR 代表 处理的是第几行

第三步: 指定分割符, 根据下标显示内容

命令 含义
awk -F ’ ’ ‘{OFS="==="}{print $1, $2, $3}’ 1.txt 操作1.txt文件, 根据 逗号 分割, 打印 第一段 第二段 第三段 内容

选项

选项 英文 含义
OFS="字符" output field separator 向外输出时的段分割字符串

第四步: 调用 awk 提供的函数

命令 含义
awk -F ‘,’ ‘{print toupper($2)}’ 1.txt 操作1.txt文件, 根据 逗号 分割, 打印 第一段 第二段 第三段 内容

常用函数如下:

函数名 含义 作用
toupper() upper 字符 转成 大写
tolower() lower 字符 转成小写
length() length 返回 字符长度

第五步: if语句 查询及格的学生信息

命令 含义
awk -F ‘,’ ‘{if($4>60) print $1, $4 }’ score.txt 如果及格,就显示 $1, $4
awk -F ‘,’ ‘{if($4>60) print $1, $4, “及格”; else print $1, $4, “不及格”}’ score.txt 显示 姓名, $4, 是否及格

选项

参数 含义
if($0 ~ “aa”) print $0 如果这一行包含 “aa”, 就打印这一行内容
if($1 ~ “aa”) print $0 如果**第一段 **包含 “aa”, 就打印这一行内容
if($1 == “lisi”) print $0 如果第一段 等于 “lisi”, 就打印这一行内容

第六步: 段内容 求学科平均分

命令 含义
awk ‘BEGIN{初始化操作}{每行都执行} END{结束时操作}’ 文件名 BEGIN{ 这里面放的是执行前的语句 }
{这里面放的是处理每一行时要执行的语句}
END {这里面放的是处理完所有的行后要执行的语句 } 
awk -F ',' 'BEGIN{}{total=total+$4}END{print total, NR, (total/NR)}' score.txt

  • 准备工作

    vim 1.txt

    aaa java root
bbb hello
ccc rt
ddd root nologin
eee rtt
fff ROOT nologin
ggg rttt

9 sed

9.1 目标

  • 通过 sed 可以实现 过滤 和 替换 的功能.

9.2 路径

  • 第一步: 实现 查询 功能
  • 第二步: 实现 删除 功能
  • 第三步: 实现 修改 功能
  • 第四步: 实现 替换 功能
  • 第五步: 对 原文件 进行操作
  • 第六步: 综合 练习

9.3 实现

第一步: 实现 查询 功能

命令 含义
sed 可选项 目标文件 对目标文件 进行 过滤查询 或 替换

可选参数

可选项 英文 含义
p print 打印
$ 代表 最后一行
-n 仅显示处理后的结果
-e expression 根据表达式 进行处理

  • 练习1 列出 1.txt的 1~5行 的数据

sed -n -e '1,5p' 1.txt

  • 练习2 列出01.txt的所有数据

sed -n -e '1,$p' 1.txt

  • 练习3 列出01.txt的所有数据 且 显示行号

可选项 含义
= 打印当前行号 
sed -n -e '1,$=' -e '1,$p' 1.txt 简化版
cat -n 1.txt
cat -b 1.txt
nl 1.txt

  • 练习4: 查找01.txt中包含root行

答案：

sed -n -e '/root/p' 1.txt

  • 练习5 列出01.txt中包含root的内容，root不区分大小写,并显示行号

可选项 英文 含义
I ignore 忽略大小写

答案：

nl 1.txt | sed -n -e '/root/Ip'nl 01.txt | grep -i rootcat -n 01.txt | grep -i root

  • 练习6 查找出1.txt中 字母r后面是多个t的行，并显示行号

可选项 英文 含义
-r regexp-extended 识别正则

答案：

nl 01.txt | sed -nr -e '/r+t/p'

或者

sed -nr -e '/r+t/p' -e '/r+t/=' 01.txt

第二步: 实现 删除 功能

  • 练习1 删除01.txt中前3行数据，并显示行号

可选项 英文 含义
d delete 删除指定内容

答案：

nl 01.txt | sed -e '1,3d'

  • 练习2 保留1.txt中前4行数据，并显示行号

答案：

nl 01.txt | sed -e '5,$d'nl 1.txt | sed -n -e '1,4p'

第三步: 实现 修改 功能

  • 练习1: 在01.txt的第二行后添加aaaaa,并显示行号

参数 英文 含义
i insert 目标前面 插入内容
a append 目标后面 追加内容

答案：

nl 01.txt | sed -e '2a aaaaa'

  • 练习2 在1.txt的第1行前添加bbbbb，并显示行号

答案：

nl 01.txt | sed -e '1i bbbbb'

第四步: 实现 替换 功能

  • 练习1 把1.txt中的nologin替换成为huawei,并显示行号

英文 含义
s/oldString/newString/ replace 替换

答案：

nl 1.txt | sed -e 's/nologin/huawei/'

  • 练习2 把01.txt中的1,2行替换为aaa,并显示行号

选项 英文
2c 新字符串 replace 使用新字符串 替换 选中的行

答案：

nl passwd | sed -e '1,2c aaa'

第五步: 对 原文件 进行操作

  • 练习1 在01.txt中把nologin替换为 huawei

参数 英文 含义
-i in-place 替换原有文件内容

答案：

sed -i -e 's/nologin/huawei/' 01.txt

  • 练习2 在01.txt文件中第2、3行替换为aaaaaa

答案：

sed -i -e '2,3c aaa' 01.txt

注意：在进行操作之前，最好是对数据进行备份，放置操作失误，数据无法恢复！

  • 练习3 删除01.txt中前2行数据，并且删除原文件中的数据

答案：

sed -i -e '1,2d' 01.txtnl passwd 查看数据

第六步: 综合 练习

  • 练习1 获取ip地址

答案：

ifconfig eth0 | grep "inet addr" | sed -e 's/^.*inet addr://' | sed -e 's/Bcast:.*$//'

  • 练习2 从1.txt中提出数据，匹配出包含root的内容，再把nologin替换为itheima

答案：

nl 01.txt | grep 'root' | sed -e 's/nologin/itheima/'或者nl 01.txt | sed -n -e '/root/p' | sed -e 's/nologin/itheima/'或者nl 01.txt | sed -n -e '/root/{s/nologin/itheima/p}' #只显示替换内容的行

  • 练习3 从1.txt中提出数据，删除前2行，并把nologin替换为itheima,并显示行号

答案：

nl 01.txt | sed -e '1,2d' | sed -e 's/nologin/itheima/'

1 挂载新的硬盘

1.1 目标

  • 虚拟机 增加一块 硬盘

1.2 路径

  • 第一步: 了解linux系统分区的原理
  • 第二步: 查看系统分区情况
  • 第三步: 虚拟机 增加 硬盘
  • 第四步: 分区
  • 第五步: 格式化
  • 第六步: 挂载
  • 第七步: 设置重启后 挂载不失效

1.3 实现

第一步: 了解linux系统分区的原理

  • 一个硬盘可以分成多个分区
  • 用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射关系(挂载) 才可以操作, 称为 挂载

第二步: 查看系统分区挂载情况

命令 英文 含义
lsblk -f list block devices 查看所有设备的挂载情况
参数 英文 含义
-f file system 文件系统

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F5x3IfHz-1624685690449)(assets/1558957195965.png)]

  • lsblk 的记忆小窍门: 老师不离开 的首字母

第三步: 虚拟机 增加 硬盘

  • 模拟将买的硬盘插入到 服务器中
  1. 选中 目标虚拟机 右键 设置
  2. 选中 硬盘 点击 添加按钮
  3. 点击 下一步
  4. 选择 创建新虚拟磁盘
  5. 指定 磁盘大小为10G
  6. 完成
  7. 注意: 重启 才可以生效

第四步: 分区

命令 英文 含义
fdisk /dev/sdb partition 开始指定磁盘分区

分区命令可选项

选项 英文 含义
m menu 显示命令列表
n new 新增分区
p partition 显示磁盘分区
d delete 删除分区
w write and exit 写入 并 退出

操作如下:

  1. fdisk /dev/sdb 开始分区
  2. 输入 m , 进入 目录列表
  3. 输入 n , 新增分区
  4. 输入 p , 开始分区, 后面按回车
  5. 最后 输入 w, 保存 且 退出
  6. lsblk -f 查看是否成功

第五步: 格式化

命令 英文 含义
mkfs -t ext4 /dev/sdb1 build a Linux file system 格式化指定分区
参数 英文 含义
-t file system type 指定文件系统类型

操作如下

  1. mkfs -t ext4 /dev/sdb1 格式化指定分区
  2. lsblk -f 查看是否成功

第六步: 挂载

命令 含义
mount 设备名称 挂载目录 建立 设备分区 和 系统目录 的映射关系
umount 设备名称 或 umount 挂载目录 取消 设备分区 和 系统目录 的映射关系

操作步骤

  1. 创建目录 mkdir -p /home/newdisk
  2. mount /dev/sdb1 /home/newdisk 建立 设备分区 和 系统目录 的映射关系
  3. lsblk -f 查看是否挂载成功

  • 注意: 重启后 挂载失效

第七步: 设置重启不失效

操作步骤

  • 第一步: 将映射关系写到配置文件中 /etc/fstab
  • 第二步: mount -a 重新加载/etc/fstab 文件 ; mount 显示 /etc/fstab 文件内容
  • 第三步: 重启操作系统后, 测试 lsblk -f

1.4 小结

  • 用户不能直接访问 硬件设备
  • 需要将硬件设备 挂载到 系统目录上, 用户才可以让用户访问

1.5 挂载 持有系统镜像 光驱

1.5.1 目标

  • 因为 linux系统镜像中包含了常用的软件包, 就不用从网上下载了
  • 所以需要挂载 持有系统镜像 的 光驱

1.5.2 路径

1.5.3 实现

  1. 目标虚拟机, 右键 设置

  2. 选中 CD/DVD, 浏览 选中本地的 centOS 镜像

  3. 创建目录 mkdir -p /mnt/cdrom

  4. 挂载镜像文件 mount /dev/sr0 /mnt/cdrom

  5. 进入挂载目录, 找到 安照包

    # 切换到安装包目录中
cd /mnt/cdrom/Packages/# 搜索tree安装包
ls | grep tree

1.5.4 小结

2 rpm 软件包管理器

2.1 目标

  • 通过 rpm命令 实现对软件 的安装、查询、卸载
  • RPM 是Red-Hat Package Manager（RPM软件包管理器）的缩写
  • 虽然 打上了 red-hat 的标记, 但是理念开放, 很多发行版都采用, 已经成为行业标准

2.2 路径

  • 第一步: rpm包 的 查询命令
  • 第二步: rpm包 的 卸载
  • 第三步: rpm包 的 安装

2.3 实现

第一步: rpm包 的 查询命令

选项 英文 含义
-q query 查询
-a all 所有
-i info 信息
-l list 显示所有相关文件
-f file 文件, 显示文件对应 rpm包

  • 查询已安装的rpm列表

    rpm -qa | grep XXX
rpm -qa | less

  • 查询软件包信息

    rpm -qi 软件全包名

  • 查看一个rpm包中的文件安装到那里去了？

    rpm -ql 软件全包名

  • 查看指定文件归属于那个软件包

    rpm -qf 文件的全路径

第二步: rpm包 的 卸载

命令 英文 含义
rpm -e 软件包名称 erase 清除 卸载rpm软件包
rpm -e --nodeps 软件包名称 Don’t check dependencies 卸载前 跳过 依赖检查

第三步: rpm包 的 安装

命令 含义
rpm -ivh rpm包的全路径 安装 rpm 包
参数 英文 含义
-i install 安装
-v verbose 打印提示信息
-h hase 显示安装进度

2.4 小结

# 1 查询
rpm -qa | grep rpm包# 2 卸载
rpm -e rpm全包名
rpm -e --nodeps rpm全包名# 3 安装
rpm -ivh rpm包的全路径

3 yum

3.1 目标

  • Yum（全称为 Yellow dog Updater, Modified）本质上 也是一个 软件包管理器。
  • 特点: 基于 RPM 包管理，能够从指定的服务器 自动下载、 自动安装、 自动处理依赖性关系

3.2 路径

3.3 实现

3.3.1 yum的原理

3.3.2 常用命令(重点)

注意: 必须联网

命令 含义
yum list | grep 需要的软件名 查询服务器是否有需要安装的软件
yum -y install 需要的软件包 下载安装
yum -y remove 需要卸载的软件包 卸载
yum repolist 列出设定yum源信息
yum clean all 清除yum缓存信息

3.3.3 制作本地yum源

  • 原因: 因为大数据集群 为了安全, 不让连接外网

  • 原理

  • 实现

    # 切换到保存yum信息的目录
cd /etc/yum.repos.d/# 备份所有的配置文件
rename .repo .repo.bak *    # 查看是否备份成功
ll

    • 第三步: 新增本地yum源 vim CentOS-Local.repo

    vi CentOS-Local.repo

    编辑内容如下

    [base]
name=CentOS-Local
baseurl=file:///mnt/cdrom
gpgcheck=0
enabled=1

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0RnaPeNs-1624685690462)(assets%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5C1571065658421.png)]

    • 注意: 必须以 .repo 结尾

    • 第五步: 断网 测试是否可以安装

      # 查看 yum 源仓库
yum repolist# 清空缓存
yum clean all# 卸载 tree 软件
yum -y remove tree# 重新安装 tree 观察是否成功
yum -y install tree

3.3.4 制作局域网yum源

  • 原理

3.3.5.1 安装httpd软件

  • 安装httpd:

    yum -y install httpd

  • 启动 httpd 服务

    service httpd start

  • 测试

    http://192.168.100.201:80

  • 问题: 发现无法访问?

  • 关闭防火墙

3.3.4.3 制作局域网 yum源

3.4 小结

# 安装软件
yum -y install 软件包卸载软件
yum -y remove 软件包

4 安装jdk

4.1 路径

4.2 实现

第一步: 卸载linux系统 提供的jdk

# 查询已安装的jdk
rpm -qa | grep java# 卸载
rpm -e --nodeps 软件包名

第二步: 上传按照包到 /export/soft , 解压到 /export/install

# 1 创建保存软件包目录
mkdir -p /export/soft/
cd /export/soft/ && ll# 2 上传软件包# 3 创建安装软件目录
mkdir -p /export/install# 4 将压缩包解压到指定目录
tar -zxvf jdk-8u141-linux-x64.tar.gz -C /export/install
cd /export/install && ll

第三步: 将 jdk路径 放到 环境变量中

  • 目的: 为了能够在任何目录下都可以使用 javac 和 java
JAVA_HOME=/export/install/jdk1.8.0_141
PATH=/export/install/jdk1.8.0_141/bin:$PATH
export JAVA_HOME PATH

第四步: 重新加载 环境变量的配置文件

  • 为了生效, 要么重启电脑, 要么 重新加载配置文件
source /etc/profile# 测试
java -version

第五步: 测试是否安装成功

需求: 编写一个简单的Hello.java, 输出 Hello World!

vim Hello.java

[root@hadoop01 export]# cat Hello.java
public class Hello{public static void main(String[] args) {System.out.println("Hello java!");}
}

使用 javac Hello.java 编译

执行 java Hello

5 安装tomcat

5.1 目标

  • 实际工作中我们可能需要发布web项目到tomcat中

5.2 路径

5.3 实现

  • 第一步: 将安装包上传到 /export/soft , 解压到 /export/install

    # 切换到保存软件的目录
cd /export/soft# 解压到 /export/install 安装目录
tar -zxvf apache-tomcat-7.0.82.tar.gz -C /export/install/

  • 第二步: 启动tomcat 且 查看日志

    # 切换启动命令的目录
cd /export/install/apache-tomcat-7.0.82/bin# 启动 且 查看日志
./startup.sh && tail -100f ../logs/catalina.out

  • 第三步: 测试

    http://192.168.100.201:8080/

6 安装mysql

6.1 yum安装原理：

  • yum安装是通过执行yum命令，自动分析依赖关系, 自动下载, 自动安装

6.2 yum安装优点：

  • 安装简单、快速

6.3 缺点：

  • 由于不同的yum仓库只有特定的几个版本，所以可选的版本较少。

6.4 yum安装实战

  • 下面看看如何在CentOS7系统上安装 MySQL5.6.44

1 查询系统自带的mysql

[root@hadoop01 yum.repos.d]# rpm -qa | grep mysql
mysql-libs-5.1.73-8.el6_8.x86_64

2 安装mysql

yum install -y mysql-server

3 启动服务

service mysqld start

4 修改密码

# 设置密码
/usr/bin/mysqladmin -u root password '123456'# 进入mysql
mysql -uroot -p123456

5 问题1: 解决中文乱码

由于MySQL编码原因会导致数据库出现乱码。

解决办法：

修改MySQL数据库字符编码为UTF-8，UTF-8包含全世界所有国家需要用到的字符,是国际编码。

具体操作：

1 进入MySQL控制台

# 进入mysql
mysql -uroot -p123456# 查看编码集 发现不是utf8
show variables like 'character_set_%';

2 修改mysql配置文件

# 清空 mysql 配置文件内容
[root@Hadoop-NN-01 ~]# >/etc/my.cnf# 修改mysql 软件的编码集
[root@Hadoop-NN-01 ~]# vi /etc/my.cnf

修改内容如下:

[client]
default-character-set=utf8[mysql]
default-character-set=utf8[mysqld]
character-set-server=utf8

3 重启MySQL服务

[root@Hadoop-NN-01 ~]# service mysqld restart

 #查看MySQL字符集
show variables like 'character_set_%';

MySQL数据库字符集编码修改完成！

6 问题2: 默认情况下 mysql服务端不允许客户端远程访问

  • 问题: 使用客户端 远程 连接mysql报错?

  • 原因: 因为 用户 没有 远程访问的权限

  • 解决: 授权

    mysql> use mysql;
mysql>select host, user ,password  from user;# 给root授权:既可以本地访问, 也可以远程访问
mysql>  grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;# 刷新权限(可选)
mysql>  flush privileges;
mysql>  select host, user ,password  from user;

连接之前需要关闭防火墙

​

7 集群(三台)

7.1 新增linux系统

第一步: 克隆虚拟机

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OgnWkwzo-1624685690471)(assets/1559030329561.png)]

第二步: 更改新增系统的mac地址

vim /etc/udev/rules.d/70-persistent-net.rules

第三步: 更改网卡信息 (setup)

vim /etc/sysconfig/network-scripts/ifcfg-eth0

第四步: 重启系统生效

reboot

7.2 三台机器 关闭防火墙

  • 内网环境 安全性比较高, 防火墙开启会影响效率, 所以 关闭防火墙

三台机器执行以下命令（root用户来执行）

# 查看防火墙的状态
service iptables status# 启动防火墙服务
service iptables start# 重启 防火墙 服务
service iptables restart# 停止 防火墙 服务
service iptables stop# 彻底关闭防火墙
chkconfig iptables off

7.3 三台机器关闭selinux

vim /etc/selinux/config

  • 注意: 重启才会生效

7.4 三台机器更改主机名

vim /etc/sysconfig/network

  • 重启才会生效

7.5 三台机器 给ip地址起别名

7.5.1 给ip地址起别名

  • vim /etc/hosts
192.168.100.201 hadoop01
192.168.100.202 hadoop02
192.168.100.203 hadoop03

7.5.2 测试

ping 192.168.100.202ping hadoop02

7.6 scp 远程文件拷贝

7.6.1 是什么?

  • scp是 remote file copy program 的缩写, scp是远程文件拷贝命令。

7.6.2 从本地拷贝到远程机器上

  • 准备工作

    # 创建目录
mkdir -p /export/aaa/bbb/ccc# 创建文件
touch /export/aaa/01.txt /export/aaa/02.txt# 显示
tree /export/aaa

1 文件

  • 语法格式

    # 拷贝文件
scp local_file remote_username@remote_ip:remote_folder

  • 需求: 将本地 01.txt 文件 复制到 192.168.100.202 机器的 /export目录下

scp  /export/aaa/01.txt   root@192.168.100.202:/exportscp  /export/aaa/02.txt   root@hadoop02:/exportscp  /export/aaa/02.txt   hadoop02:/export

2 文件夹

  • 语法格式

    # 拷贝目录
scp -r local_folder remote_username@remote_ip:remote_folder

  • 需求: 将本地 aaa 目录 复制到 192.168.100.202 机器的 /export 目录下

scp -r /export/aaa root@192.168.100.202:/export

scp -r /export/aaa root@hadoop02:/export

scp -r /export/aaa hadoop02:/export

7.6.3 将远程机器内容复制到本地机器上

  • 准备工作

    # 创建目录
mkdir -p /export/a1/b1/c1# 创建文件
touch /export/a1/111.txt
touch /export/a1/222.txt# 显示内容
tree /export/a1

1 文件

scp root@192.168.100.202:/export/a1/111.txt /export

scp root@hadoop02:/export/a1/222.txt /export

scp hadoop02:/export/a1/222.txt /export

2 目录

  • 语法格式

    scp -r remote_username@remote_ip:remote_folder local_folder

  • 练习4: 将hadoop02的 /export/a1/ 目录 复制到 hadoop01 的 export目录下

scp -r root@192.168.100.202:/export/a1 /export

scp -r hadoop02:/export/a1 /export

7.7 ssh远程登录

7.7.1 目标

  • 专门用于 远程登录

7.7.2 路径

7.7.3 实现

方式一 使用 ssh 基于密码的远程登录

命令 含义
ssh ip地址 远程登录到指定服务器上(必须知道正确的密码)

  • 在第三台机器上登录到第二台机器上

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DrcoW4V2-1624685690479)(assets/1559302684534.png)]

  • 细节: 首次远程登录会询问 yes/no , 以后可能就不会了

方式二: 使用 ssh 基于密匙 实现 免密码登录(掌握)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wbswp140-1624685690479)(assets%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5C1571066755061.png)]

    第一步: ssh-keygen -t rsa  在hadoop1和hadoop2和hadoop3上面都要执行，产生公钥和私钥第二步：ssh-copy-id hadoop01 将公钥拷贝到hadoop1上面去第三步：ssh-copy-id hadoop02ssh-copy-id hadoop03

注意1: 第三步需要在/root/.ssh/目录下.

7.8 crontab 任务调度

7.8.1 原理

7.8.2 概述

  • crontab 进行 定时任务的设置

  • 基本语法

    crontab [选项]

    • 常用选项

      选项 英文 含义
      -e edit 编辑crontab定时任务
      -l displayed 显示crontab任务
      -r remove 删除当前用户所有的crontab任务

7.8.3 案例: 每隔1分钟将时间打印到 /export/文件中

方案一: 直接式

  • 第一步: date >> /export/mydate1.txt 测试命令

  • 第二步: 通过 crontab -e 进入 定时任务

  • 第三步: 编辑定时任务命令

    */1 * * * *  date >> /export/mydate1.txt

  • 第四步: 检测是否成功

    cd /export/ && tail -f mydate1.txt

方式二: 脚本式

  • 第一步: 书写测试命令

    echo `date +"%Y-%m-%d %H:%M:%S"` >> mydate2.txt

  • 第二步: 将命令放到脚本中 vim /export/task.sh

    echo `date +"%Y-%m-%d %H:%M:%S"` >> /export/mydate2.txt

  • 第三步: 增加可执行权限

    chmod +x /export/task.sh

  • 第四步: 执行脚本

    /export/task.sh

  • 第五步: 进入 定时任务 crontab -e

    */1 * * * *  date >> /export/mydate1.txt
*/1 * * * *  /export/task.sh

  • 第六步: 测试 观察结果

    tail -f /export/mydate2.txt

7.8.4 参数细节说明(学会查)

5个占位符的说明

含义 范围
第一个 * 一小时当中的第几分钟 0~59
第二个 * 一天当中的第几小时 0~23
第三个 * 一个月当中的第几天 1~31
第四个 * 一年当中的第几月 1~12
第五个 * 一周当中的星期几 0~7(0和7都代表星期日)

例子

命令 含义
* * * * * command 实例1：每1分钟执行一次command
3,15 * * * * command 实例2： 每小时的第3和第15分钟执行
3,15 8-11 * * * command 实例3： 在上午8点到11点的第3和第15分钟执行
3,15 8-11 */2 * * command 实例4： 每隔两天的上午8点到11点的第3和第15分钟执行
3,15 8-11 * * 1 command 实例5： 每个星期一的上午8点到11点的第3和第15分钟执行
30 21 * * * /etc/init.d/smb restart 实例6： 每晚的21:30重启smb
45 4 1,10,22 * * /etc/init.d/smb restart 实例7： 每月1、10、22日的4 : 45重启smb
10 1 * * 6,0 /etc/init.d/smb restart 实例8：每周六、周日的1 : 10重启smb
0,30 18-23 * * * /etc/init.d/smb restart 实例9：每天18 : 00至23 : 00之间每隔30分钟重启smb

7.9 三台机器时钟同步

7.9.1 同步互联网时间

命令 英文 含义
ntpdate 互联网时间服务器地址; Network Time Protocol 同步时间

  • 阿里云时钟同步服务器

    ntpdate ntp4.aliyun.com

  • 三台机器定时任务 : 直接与阿里云服务器进行时钟同步

    crontab -e*/1 * * * *  /usr/sbin/ntpdate ntp4.aliyun.com;

  • 准备工作: 删除三台服务器定时任务

    crontab -r

7.9.2 跟内网某台机器同步时间

  • 为了安全, 大数据集群的节点不允许连接外网

  • 以192.168.100.201 这台服务器的时间为准进行时钟同步
第一步:确定是否安装了ntpd的服务
rpm -qa  | grep  ntpd

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z3YZJYn9-1624685690482)(assets/1559323516074.png)]

  • 如果 没有安装,可以进行在线安装

    yum -y install ntpd

  • 查看ntpd的状态

    service ntpd status

  • 启动ntpd的服务

    service ntpd  start

  • 设置ntpd的服务开机启动

    chkconfig ntpd on
第二步:编辑 /etc/ntp.conf

  • 编辑第一台机器的 /etc/ntp.conf

    • vim /etc/ntp.conf

    • 在文件中添加如下内容, 配置我们的时钟广播地址

      #允许192.168.100.0 网段中的服务器访问本ntp服务器进行时间同步
restrict 192.168.100.0  mask  255.255.255.0 nomodify  notrap

    • 注释一下四行内容

      #server0.centos.pool.ntp.org
#server1.centos.pool.ntp.org
#server2.centos.pool.ntp.org
#server3.centos.pool.ntp.org

    • 去掉以下内容的注释，如果没有这两行注释，那就自己添加上

      #如果上面的服务器都无法同步时间，就和本地系统时间同步。127.127.1.0在这里是一个IP地址，不是网段。
server  127.127.1.0  #  localclock
#127.127.1.0 为第10层。ntp 和127.127.1.0同步完后，就变成了11层。  ntp是层次阶级的。
fudge   127.127.1.0  stratum  10

  • 配置以下内容，保证BIOS与系统时间同步

    vim /etc/sysconfig/ntpd

    • 添加一行内容

      SYNC_HWLOCK=yes

  • 重启ntpd 服务

    service ntpd  restart

    • 注意: 如果更改ntp时钟服务器的时间,也需要重启 ntpd 服务

第三步：另外两台机器与第一台机器时间同步

  • 先手动同步时间

    ntpdate 192.168.100.201

  • 再使用 定时任务 同步时间

    crontab -e

    */1 * * * * /usr/sbin/ntpdate 192.168.100.201

    另外两台机器与192.168.52.201进行时钟同步

  • 注意: 报错

    • 原因: ntp服务已运行

    • 解决办法: 断开再连

练习路径:

​ 1 设置防火墙

​ 2 一台机器上: rpm 安装 jdk tomcat mysql

​ 3 搭建服务器集群(下午)

​ 4 挂载 硬盘 和 光驱

​ 5 yum源: 网络yum源 本地yum源 局域网yum源

总结

以上便是大数据开发工程师基本功修炼之史上最全Linux学习笔记 ,喜欢的小伙伴欢迎一键三连!!!

大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)相关推荐

  1. 大数据系列sql基础知识（史上最全，收藏起来）

    大数据系列文章,从技术能力.业务基础.分析思维三大板块来呈现,你将收获: 1. 提升自信心,自如应对面试,顺利拿到实习岗位或offer: 2.掌握大数据的基础知识,与其他同事沟通无障碍: 3. 具备一 ...

  2. 史上最全SpringBoot学习笔记-动力节点王鹤（2021最新版）

    SpringBoot 资料官方下载地址 动力节点springboot资料 视频观看地址 https://www.bilibili.com/video/BV1XQ4y1m7ex 第一章 JavaConf ...

  3. 史上最全Python学习笔记（基于《Python学习手册（第4版）》）——Part7 异常和工具

    文章目录 Chap32 异常基础 为什么使用异常 异常的角色 异常处理:简明扼要 默认异常处理器 捕获异常 引发异常 用户定义的异常 终止行为 Chap33 异常编码细节 try/except/els ...

  4. 【云原生学习】史上最全Prometheus学习笔记

    文章目录 Prometheus使用 一.Prometheus基本概念 1.1 特点 1.2 相关组件 1.3 架构 1.4 四种指标 1.5 Promethues的数据模型 1.5.1 作业和实例 二 ...

  5. 史上最全Python学习笔记（基于《Python学习手册（第4版）》）——Part3 语句和语法

    文章目录 Chap10 Python语句简介 重访Python程序结构 Python的语句 两个if的故事 Python增加了什么 Python删除了什么 括号是可选的 终止行就是终止语句 缩进的结束 ...

  6. 大数据开发工程师前景如何？

    1.大数据开发前景如何,企业对大数据开发的需求到底有多大. 大数据开发,是一个刚刚开始发展的行业,而且技术经常更新,所以大数据的发展会长期发展,但要求程序员要跟着行业发展不断学习进步.一个新技术的出现 ...

  7. 一篇文章带你了解2018 大数据开发工程师必备那些技能

    你好,成为一名大数据开发工程师,你需要具备的技能比较多,具体的,可以参看下面的这些点. Java 大家都知道Java的方向有JavaSE.JavaEE.JavaME,学习大数据要学习那个方向呢?只需要 ...

  8. 大数据开发工程师必备那些技能

    成为一名大数据开发工程师,你需要具备以下这些技能 Java 大家都知道Java的方向有JavaSE.JavaEE.JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以 ...

  9. 大数据开发工程师必备技能有哪些？

    大数据开发工程师必备技能有哪些?随着全行业数字化转型和新基建时代的到来,对技术人才提出了更高的要求.不管是面试还是实际工作过程中,数据工程师要时时刻刻面对这些层出不穷的技术演进. 随着数据的爆发式增长 ...

最新文章

  1. 2021计算机技能高考考纲,2021年湖北省技能高考技能考试大纲（机械类）.pdf
  2. Linux Rootkit 系列四：对于系统调用挂钩方法的补充
  3. pytho作线性拟合、多项式拟合、对数拟合
  4. 是什么包_包粽子教程，喜欢的收藏，以后想吃什么样的都可以自己包
  5. JDBC连接数据库格式
  6. 使用named_mutex和named_condition配合实现读写锁
  7. tensorflow 里metrics_深入理解TensorFlow中的tf.metrics算子
  8. idea maven项目的移除添加
  9. 移动端前端笔记 — 遇到的常见JS与CSS问题及解决方法
  10. GET XXX net::ERR_CONNECTION_REFUSED
  11. Redis集群安装及配置步骤
  12. Android start stop命令使用
  13. MSTAR数据集的SAR图像识别 准确率99.17%
  14. echarts使用复选框样式legend控制显隐
  15. 使用 Jib 生成 Java Docker 镜像
  16. UniAPP 使用高德地图，打包后定位api不执行
  17. 当前疫情下火爆的直播应用，你了解背后的技术架构吗？
  18. jd+jbe修改jar包中class文件
  19. python爬取汽车之家数据_python 实现汽车之家车型数据爬虫
  20. dns服务器未响应重启就好,网络诊断提示DNS服务器未响应解决方法 - 全文

热门文章

  1. html特殊字符大全
  2. 数据库操作之插入一行数据
  3. 全球及中国润滑油市场调查及投资发展规模预测报告2022-2028年版
  4. FCC JavaScript 算法和数据结构 正则表达式
  5. C++ 利用结构体数组编写一个程序，对10名小学生的信息进行管理，学生结构体的成员包括姓名、学号、年龄、语文成绩、数学成绩、英语成绩、三门课总分等
  6. 属性重要性的举例（定性数据聚类）
  7. PCIE内核注册详解
  8. DEVONthink Pro for Mac(mac文件管理工具)
  9. 最常用的邮箱的SMTP
  10. 国家4A级旅游风景区安化云台山欢迎您的到来