后续会为大家持续更新，如有错误欢迎大家指点！

Linux基础知识

系统目录结构

Linux系统安装

基本知识点

命令提示符

命令格式

历史命令和补全功能

开，关机以及重启

目录相关操作

文件相关操作

修改文件权限

文件打包，压缩，解压

查找命令

1.配置网络

2.管理磁盘

3.软件安装

安装软件的三种方法：

安装MySQL

安装Java

安装，配置Hadoop

免密登录

4.shell编程

输入语句

输出语句

文件运行命名格式

定义，调用函数

批量添加用户

统计数据

关闭防火墙

Linux基础知识

系统目录结构

/bin：命令和应用程序。
/boot： 这里存放的是启动 Linux 时使用的一些核心文件，包括一些连接文件以及镜像文件。
/dev ： dev 是 Device(设备) 的缩写, 该目录下存放的是 Linux 的外部设备，在 Linux 中访问设备的方式和访问文件的方式是相同的。
/etc： etc 是 Etcetera(等等) 的缩写,这个目录用来存放所有的系统管理所需要的配置文件和子目录。
/home：用户的主目录，在 Linux 中，每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的，如上图中的 alice、bob 和 eve。
/lib： lib 是 Library(库) 的缩写这个目录里存放着系统最基本的动态连接共享库，其作用类似于 Windows 里的 DLL 文件。几乎所有的应用程序都需要用到这些共享库。
/lost+found：这个目录一般情况下是空的，当系统非法关机后，这里就存放了一些文件。
/media： linux 系统会自动识别一些设备，例如U盘、光驱等等，当识别后，Linux 会把识别的设备挂载到这个目录下。
/mnt：系统提供该目录是为了让用户临时挂载别的文件系统的，我们可以将光驱挂载在 /mnt/ 上，然后进入该目录就可以查看光驱里的内容了。
/opt： opt 是 optional(可选) 的缩写，这是给主机额外安装软件所摆放的目录。比如你安装一个ORACLE数据库则就可以放到这个目录下。默认是空的。
/proc： proc 是 Processes(进程) 的缩写，/proc 是一种伪文件系统（也即虚拟文件系统），存储的是当前内核运行状态的一系列特殊文件，这个目录是一个虚拟的目录，它是系统内存的映射，我们可以通过直接访问这个目录来获取系统信息。这个目录的内容不在硬盘上而是在内存里，我们也可以直接修改里面的某些文件，比如可以通过下面的命令来屏蔽主机的ping命令，使别人无法ping你的机器：
```
echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
```
/root：该目录为系统管理员，也称作超级权限者的用户主目录。
/sbin： s 就是 Super User 的意思，是 Superuser Binaries (超级用户的二进制文件) 的缩写，这里存放的是系统管理员使用的系统管理程序。
/selinux：这个目录是 Redhat/CentOS 所特有的目录，Selinux 是一个安全机制，类似于 windows 的防火墙，但是这套机制比较复杂，这个目录就是存放selinux相关的文件的。
/srv：该目录存放一些服务启动之后需要提取的数据。
/sys：

这是 Linux2.6 内核的一个很大的变化。该目录下安装了 2.6 内核中新出现的一个文件系统 sysfs 。

sysfs 文件系统集成了下面3种文件系统的信息：针对进程信息的 proc 文件系统、针对设备的 devfs 文件系统以及针对伪终端的 devpts 文件系统。

该文件系统是内核设备树的一个直观反映。

当一个内核对象被创建的时候，对应的文件和目录也在内核对象子系统中被创建。
/tmp： tmp 是 temporary(临时) 的缩写这个目录是用来存放一些临时文件的。
/usr： usr 是 unix shared resources(共享资源) 的缩写，这是一个非常重要的目录，用户的很多应用程序和文件都放在这个目录下，类似于 windows 下的 program files 目录。
/usr/bin： 系统用户使用的命令和应用程序。
/usr/sbin： 超级用户使用的比较高级的管理程序和系统守护程序。
/usr/src： 内核源代码默认的放置目录。
/var： var 是 variable(变量) 的缩写，这个目录中存放着在不断扩充着的东西，我们习惯将那些经常被修改的目录放在这个目录下。包括各种日志文件。
/run：是一个临时文件系统，存储系统启动以来的信息。当系统重启时，这个目录下的文件应该被删掉或清除。如果你的系统上有 /var/run 目录，应该让它指向 run。

在 Linux 系统中，有几个目录是比较重要的，平时需要注意不要误删除或者随意更改内部文件。

/etc：上边也提到了，这个是系统中的配置文件，如果你更改了该目录下的某个文件可能会导致系统不能启动。

/bin, /sbin, /usr/bin, /usr/sbin: 这是系统预设的执行文件的放置目录，比如 ls 就是在 /bin/ls 目录下的。

值得提出的是，/bin, /usr/bin 是给系统用户使用的指令（除root外的通用户），而/sbin, /usr/sbin 则是给 root 使用的指令。

/var：这是一个非常重要的目录，系统上跑了很多程序，那么每个程序都会有相应的日志产生，而这些日志就被记录到这个目录下，具体在 /var/log 目录下，另外 mail 的预设放置也是在这里。

Linux系统安装

略

基本知识点

命令提示符

命令格式

历史命令和补全功能

1.按上下键查看历史命令

2.history ：查看执行过的所有命令

history 10：查看执行过的近10条命令

3.ctr+r:用执行过的命令快速补全

开，关机以及重启

立即关机：

halt （停止进行，中断）

poweroff （定时关机，关闭电源）

shutdown -h now （shutdown：关机）

定时关机：

shutdown -h 5               5分钟后自动关机

shutdown -h 12:00           中午12点关机

立即重启

reboot

shutdown -r now

定时重启

shutdown -r 10                   过10分钟自动重启

shutdown -r 22:00             在时间为22:00时候重启

取消以上操作：shutdown -c

目录相关操作

创建

mkdir 目录名    创建目录

mkdir    hello                 在当前目录下创建
mkdir    /usr/local/hello      在指定目录下创建
mkdir hello nihao kang         在当前目录下创建

删除

rm [-rf] 目录名       删除目录                             r：递归删除   f：强制删除

rm -r hello               递归删除当前目录下的hello目录
rm -rf hello              递归删除当前目录下的hello目录（不询问）
rm -rf hello nihao kang   递归删除三个目录

移动[剪切]

mv 目录 目录新位置

mv /usr/local/kang /usr/     将/usr/local下的名为kang的目录移动到/usr下

重命名

mv 目录名  新目录

mv hello nihao    将目录hello改为nihao

[移动+重命名]

mv /usr/local/kang /usr/nihao           /usr/local/kang将目录移动到/usr下，并重命名为nihao

•                                对比移动

mv /usr/local/kang /usr/nihao/           /usr/local/kang将目录移动到/usr下

注意：若是移动，则/usr/nihao/   local后面要加个/，否则就成移动并重命名了，加/后才表式nihao目录下如果当前目录下也有个相同名字的文件的话，那这个原文件会被覆盖（可能会询问否是选择覆盖）

拷贝

- -r 是递归把源目录下的目录递归进行移动；
- -f：强行复制文件或目录，不论目标文件或目录是否已存在；
- -i：覆盖既有文件之前先询问用户；
- -p：保留源文件或目录的属性；

拷贝目录时要加参数 -r

文件则不需要

注意：mv的语法不仅可以对目录进行重命名而且也可以对各种文件，压缩包等进行重命名的操作

文件相关操作

创建

touch 文件名

删除

rm 文件           删除当前目录下的文件
rm -f 文件       删除当前目录的的文件（不询问）
rm -rf *    将当前目录下的所有目录和文件全部删除

i,o,a进入插入模式
保存并退出： wq
退出编辑：  q
强制退出：  q!
删除当前行：dd

修改文件权限

-r :可读   -w:可写    -x:可执行
chmod 权限代数 文件名

文件打包，压缩，解压

常见文件格式

rpm     是安装包

.tar    打包文件

.gz     压缩文件

.tar.gz     打包并压缩的文件

打包和压缩，解压

Linux中的打包文件一般是以.tar结尾的，压缩的命令一般是以.gz结尾的。而一般情况下打包和压缩是一起进行的，打包并压缩后的文件的后缀名一般.tar.gz。

命令：tar -zcvf 打包压缩后的文件名 要打包的文件z：调用gzip压缩命令进行压缩c：打包文件v：显示运行过程f：指定文件名

示例：打包并压缩/usr/tmp 下的所有文件 压缩后的压缩包指定名称为xxx.tar
tar -zcvf ab.tar aa.txt bb.txt
或：tar -zcvf ab.tar  *

解压

命令：tar [-zxvf] 压缩文件         x：代表解压
tar -zxfv 压缩包
tar -xvf 路径/压缩包 -C 指定目录    C：代表解压到指定的位置               将路径下的压缩包解压到根目录指定目录下

查找命令

目录，文件查找

find 目录 参数 文件名称
find /usr/local -name 'k*'    查找/usr/local目录下的所有以k开头的目录或文件

cat  查看文件最后一屏内容
cat 文件路路径

more：百分比显示

使用more查看/etc/sudo.conf文件，可以显示百分比，回车可以向下一行，空格可以向下一页，q可以退出查看
more sudo.conf

whereis 文件   将文件和所在路径都查找出来

which命令的作用是在PATH变量指定的路径中，搜索某个系统命令的位置，并且返回第一个搜索结果。
which pwd  查找pwd命令所在路径
which java  查找path中java的路径

1.配置网络

2.管理磁盘

磁盘文件相关信息

设备文件格式：/dev/xxyn

xx     :硬盘接口类型（一般为sd）

y      :使用此类接口的第几个硬盘（a-z）

n      :分区号（主分区/扩展分区用1-4表示，逻辑分区从5开始）

查看所有磁盘详细信息

fdisk -l

操作

添加硬盘

进入磁盘交互模式进行分区

fdisk /dev/磁盘名

n ：创建新分区—>p:选择创建主分区        d :删除某个分区    p :查看分区信息
选择分区号

起始额度（可默认）

截止额度

w ：存盘退出

格式化分区

fdisk -t ext4 /dev/硬盘分区

挂载分区到相应目录

创建文件系统（目录）

mount /dev/硬盘分区 /创建的目录              挂载到创建的目录

mount  查看挂载信息

*对第一个分区进行处理系统会默认对其剩下分区进行相关操作

*分区只是在硬盘做标志信息，格式化后挂载(建立文件系统)才会生效

3.软件安装

安装软件的三种方法：

1.编译安装源码包（tar-)

2.rpm（本地安装）

3.yum（在线安装）

rpm和yum的区别

rpm 只能安装已经下载到本地机器上的rpm 包.

yum能在线下载并安装rpm包,能更新系统,且还能自动处理包与包之间的依赖问题,这个是rpm 工具所不具备的。

从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装，

可以完整的删除软件

rpm:删除指定的一个

yum:删除与之相关联的全部安装包

rpm安装,卸载

安装
命令格式：rpm -vih 包名
卸载
命令格式：rpm -e 包名

常用参数

-i, --install  ：安装

-v ：选项显示详细信息

-h 选项：hash marks输出进度条；每个#表示2%的进度

-vv：显示更详细的信息

–nodeps：忽略依赖关系；不建议

–force 属性，强制进行安装

-U, --update ：升级

–force ：强制升级，强制进行安装

-e, --erase ：卸载

-q, --query：查询

-l：显示套件的文件列表

-a，–all：查询所有已经安装过的程序包，可配合grep使用

-V, --verify  ：校验

–builddb, --initdb：数据库维护

yum安装，卸载

安装
命令格式：yum install -y 包名
卸载
命令格式： yum -y remove 包名

常用参数

 -y：当安装,卸载过程提示选择全部为"yes"-q：不显示安装的过程

wget 下载地址

安装MySQL

获取安装包进行安装

wget 链接

rpm

安装MySQL服务器

yum install -y mysql-server

MySQL服务相关操作

systemctl start mysqld    开启MySQL服务

ps -aux|grep mysqld        查看后台MySQL是否运行

systemctl enable mysqld   设置开机自启

登录MySQL

获取初始密码

cat /var/log/mysqld.log|grep 'A temporary password'

mysql -u root -p

修改密码

use mysqld;    切换MySQL数据库

alter user 'root'@'localhost' identified by 'py.123456'
修改   用户  管理员   本地服务器    登陆密码

安装Java

查看是否存在java安装包（可略）

筛选

rpm -aq|grep java

删除不需要的版本

下载JavaJDK

下载JDK地址：ww.oracle.com

解压并存放放到指定位置

拖动至Linux系统内，去掉引号

创建目录-移动-解压 / 解压并移动

mkdir 目录名

mv 现在的位置 新位置

tar [-zxvf] 压缩文件    x：解压     zxvf顺序不能乱，否则报错

也可在解压到指定位置

tar -xvf 压缩文件 -C 解压后存放的位置       C：解压到指定位置

配置环境变量

copy Java路径

export JAVA_HOME=/usr/java/jdk1.8.0_291-amd64              export:声明为全局变量
export PATH=$PATH:$JAVA_HOME/bin
export CALSSPATH=.:$JAVA_HOME/lib

解释

JAVA_HOME环境变量：jdk的安装路径             Eclipse/NetBeans/Tomcat等软件就是通过搜索JAVA_HOME变量来找到并使用安装好的jdk。

PATH环境变量。作用是指定命令搜索路径，在shell下面执行命令时，它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需要把   jdk安装目录下的bin目录增加到现有的PATH变量中，bin目录中包含经常要用到的可执行文件如javac/java/javadoc等待，设置好  PATH变量后，就可以在任何目录下执行javac/java等工具了。

CLASSPATH环境变量。作用是指定类搜索路径，要使用已经编写好的类，前提当然是能够找到它们了，JVM就是通过CLASSPTH来寻找类的。我们  需要把jdk安装目录下的lib子目录中的dt.jar和tools.jar设置到CLASSPATH中，当然，当前目录“.”也必须加入到该变量中。

重启系统环境配置文件

source /etc/profile

配置成功后无论在哪里都可以调用java(会显示版本信息)

若修改profile文件时覆盖了原PATH路径，解决方法：

输入命令：export PATH=/usr/bin:/usr/sbin:/bin:/sbin   后，将原PATH变量修改回来即可

检测是否安装成功：java -version

安装，配置Hadoop

主要用来数据的存储(DHFS：分布式文件系统) 和分布式计算(MapReduce)（并行运算）

MapReduceMapReduce_百度百科 (baidu.com)

HDFShdfs_百度百科

hadoop核心模块

common：    为其他Hadoop模块提供基础服务

HDFS：  高吞吐量的分布式文件系统提供数据的存储（namenode，DataNode)

MapReduce： 分布式的离线并行计算框架

YARN:  负责任务调度和资源管理（CPU，内存）管理集群各个机器的资源，并合理调度分配给各个程序使用

NameNode

NameNode属于HDFS,它位于HDSF的主端，由它来指导DataNode执行底层I/O任务。NameNode相当于HDFS的书记员，它会跟踪文件如何被分割成文件块，而这些块又是被哪些节点存储，以及分布式文件系统整体运行状态是否正常等。 运行NameNode会消耗大量内存和IO资源，因此为减轻机器负载，驻留NameNode的服务器通常不会存储用户数据或者进行MapReduce计算任务，这也就意味着一台NameNode服务器不会同时是DataNode或者TaskTracker服务器。

DataNode

集群中每一个从节点都会驻留一个DataNode的守护进程，用来将HDFS数据库写入或读取到本地文件系统中。当对HDFS文件进行读写时，文件会被分割成多个块，有NameNode告知客户端每个数据驻留在哪个DataNode，客户端直接与DataNode进行通信，DataNode还会与其它DataNode通信，复制这些块以实现冗余。

NameNode跟踪源数据，DataNode提供数据块的备份存储并持续不断地向NameNode报告，以保持元数据最新状态

安装hadooop

编译安装—>解压—>/usr/local/hadoop

检测是否安装成功：hadoop version

Hadoop环境配置

修改Hadoop环境变量文件

vi /usr/local/hadoop/etc/hadppp/hadoop-env.sh（Hadoop的环境变量配置文件）
export JAVA_HOME=java的路径（修改内容）

修改系统环境变量

重启系统环境配置文件

source /etc/profile

配置两个核心文件

common模块的配置文件--core-site.xml

core-site.xml 加2个属性

#指定文件为hdfs,以及namenode主节点运行机器和端口
<configuration>  (配置模块)<property>    属性1<name>fs.defaultFS</name>     指明hdfs中namenode的名字<value>hdfs://localhost:9000</value>     指明hdfs中namenode的地址      本地主机名（localhost）</property>
#指定hdfs文件系统本地存储目录（自己提前创建），默认的是/tmp,不安全<property>    属性2<name>hadoop.tmp.dir</name>     指明Hadoop运行时产生文件的存储路径的名字<value>hadoop目录/tmp</value>     指明存储路径</property>
</configuration>

/tmp是一个特殊的文件夹，系统会自动清理（10天前的）

hdfs模块的配置文件--hdfs-site.xml

hdfs-site.xml 加3个属性

<configuration>     配置模块
<property>     属性1<name>dfs.name.dir</name>     存储元数据的位置名字（指示存储位置）<value>hadoop目录/name</value>     位置</property><property>     属性2<name>dfs.data.dir</name>   存储数据的位置名字<value>hadoop目录/hdfs/data</value>    位置</property><property>     属性3<name>dfs.replication</name>   副本属性（备份）<value>1</value>     份数</property>
</configuration>

“元数据（Metadata）描述数据的数据，存储数据的相关信息。（大小，类型，位置等等）
为描述数据的数据（data about data）

主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

replication：复制

hadoop ssh免密登录

ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa

-t 生成密匙类型dsa -P ' ' 密码为空 -f 指定生成公匙和私匙的文件名

76 ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa 77 ssh-keygen 78 cat ~/.ssh/id_dsa.ppi 79 cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys 80 ls ~/.ssh 81 ll ~/.ssh 82 chmod 600 ~/ 83 chmod 600 ~/.ssh/authorized_keys 84 ll ~/.ssh 66 cat /etc/profile 67 cd /usr/hadoop-2.10.1 68 ./bin/hdfs namenode -format 69 ./sbin/start-dfs.sh 70 ifconfig-ens33 71 ifconfig -ens33 72 ifconfig

格式化

cd /usr/hadoop-2.10.1

./sbin/start-dfs.sh

远程文件发送

ssh-copy-id -i id_rsa.pub root@192.168.182.129

-i 选择文件发送 root用户@主机名（ip)

4.shell编程

vi 文件名直接创建文件并进行修改

输入语句

#! /bin/bash
read -p 'input name:' name

运行结果:

input name:

#!是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种 shell；

后面的/bin/bash就是指明了解释器的具体位置。

Shell 脚本中所有以#开头的都是注释（当然以#!开头的除外）。

输出语句

echo $name

echo:回响，打印

echo 字符或已赋值变量$name

echo打印已声明变量前要加$，否则打印的是当前字符

文件运行命名格式

文件路径 /文件名

定义，调用函数

#! /bin/bash
function add()
{sum=$[$1+$2]echo $sum
}
read -p 'input number1:' num1
read -p 'input bunber2:' num2

add $num1 $num2

bash 文件名以可执行身份强制执行文件（无执行权限的文件）

批量添加用户

循环结构批量添加用户

#! /bin/bash
groupadd student

for i in 'xiaowang' 'zhangsan' 'wangwu' 'jiangcheng' 'pig'
do  useradd -g student $iecho '123456'|passwd --stdin $i
done

do~done构成循环体

执行结果

统计数据

分支，判断语句

统计目录，文件数

#! /bin/bash
fnum=0
dnum=0
total=0
for i in `ls`
doif [ -d $i ]thendnum=`expr $dnum + 1`elsefnum=`expr $dnum + 1`fitotal=`expr $total + 1`
done
echo directory:$dnum
echo file:$fnum
echo total:$total
执行结果：
directory:0
file:1
total:7

关闭防火墙

systemctl命令是Linux系统服务管理器命令，由service和chkconfig命令组合而来 system：系统 ctl->control:控制—>系统控制

systemctl stop c    （暂时）
systemctl disable firewalld  （永久开机自动关闭）(禁用)
systemctl status firewalld  （查看状态）
最好也把selinux关闭掉，这是linux系统的一个安全机制，进入文件中将SELINUX设置为disabled
vi /etc/selinux/config
SELINUX=disabled

hadooop:HDFS/mapreduce

Linux中使用id命令可以查看用户的大多数信息。具体使用方法请参看上一关的实训。

Linux中还可以通过查看/etc/passwd文件来获取用户的信息。具体方法可以参考背景知识。

Linux中还可以使用finger命令来查询用户的信息。

注意：Ubuntu系统中默认没有安装finger命令，用户可以通过以下命令来安装finger，然后就可以使用finger。

sudo apt-get install finger

具体使用方法如下：

命令格式：finger [命令参数] 参数

常见命令参数

-l：多行显示；
-s：单行显示。这个选项只显示登入名称、真实姓名、终端机名称、闲置时间、登入时间、办公室号码及电话号码。如果所查询的使用者是远端服务器的使用者，这个选项无效。

案例演示:

使用finger命令查看用户信息。

例如，查看系统中已经存在的用户newUser信息。

[请在右侧“命令行”里直接体验]

Linux用户信息修改命令

Linux 中usermod命令是最强大的用户账户修改实用工具。

usermod命令我们在上一关只是简单的用到其-g、-G参数对用户的所属组进行修改，本关我们将进一步使用usermod命令的其它属性进行修改更多的属性。

命令格式：usermod [命令参数] 参数

常见命令参数：

-c<备注>：修改用户帐号的备注文字；
-d<登入目录>：修改用户登入时的目录；
-e<有效期限>：修改帐号的有效期限；
-f<缓冲天数>：修改在密码过期后多少天即关闭该帐号；
-g<群组>：修改用户所属的群组；
-G<群组>；修改用户所属的附加群组；
-l<帐号名称>：修改用户帐号名称；
-L：锁定用户密码，使密码无效；
-s：修改用户登入后所使用的shell；
-u：修改用户ID；
-U:解除密码锁定。

usermod必须以root权限才能执行，如果是普通用户想使用该命令时，需要在命令前加sudo命令来提升权限为root权限。