Linux基础

这里主要介绍学习大数据过程中用到的Linux基础知识，现在主攻的方向是大数据开发，欢迎大家共同交流。

环境

推荐安装VMware虚拟机并安装CentOS操作系统，具体资源的下载和安装可以查到，如果踩到坑可以留言讨论。
通过远程连接工具可以直接操作虚拟机中的Linux系统，比如Xshell、SecureCRT等，熟悉Linux指令后推荐使用
注：这里需要将虚拟机网络设置为NAT模式：[编辑——>虚拟网络编辑器]

在主机电脑的[ 网络共享中心 ]可以查看到VMnet8网络适配器，其中IPv4地址与虚拟机网络在同一网段下即可
最后在虚拟机中使用ifconfig命令查看IP地址，使用远程连接工具即可连接

常见的Linux指令

history显示历史命令，可使用!命令序号再次执行
ctrl+a/e让光标移动到首尾部
pwd查看当前目录
ls列出当前目录文件
-l除文件名称外，亦将文件型态、权限、拥有者、文件大小等资讯详细列出
-r将文件以相反次序显示
-t将文件依建立时间之先后次序列出
-a显示所有文件及目录，开头为"."的视为隐藏档

vim编辑器的使用

vim test编辑名为test的文档，如果不存在则创建
a/i进入插入模式开始编辑
ESC键返回到命令行模式
在命令模式下：
:q/:q!不保存退出/强制退出
:wq保存并退出
:set nu显示行号 set nonu不显示行号
gg回到首行
G跳到尾行
dd删除光标所在行
yy复制光标所在行 p粘贴在下一行，4yy向下复制四行
wc即word count命令，可以查阅脚本的行数字节数等信息，可以使用wc --help查看具体命令

文件管理命令：

cat test1 test2 > test3将文件拼接到另一个文件中
cat -n test3带行号打印显示
touch新建文件touch newFile 更改文件编辑时间为当前touch test3
chmod更改文件操作权限，可以使用ll命令查看当前目录下的个文件权限，依次是文件拥有者、群组、其他，权限级别分为w可写、r可读、x可执行，可分别用数字4 2 1代表，例如chmod 777 test3
chown更改文件拥有者，文件拥有者分为用户和组
注：在root用户权限下才可执行上述两条命令 su root
find查找命令，find -name '*.txt'查找txt文件，通常可以配合管道命令查询
more类似cat，但一页一页展示，使用ctrl+f向下翻页
less类似more，但是可以向上翻页ctrl+b
head -n 5 test3查看test3文件的前5行，tail -n 5 test3查看后五行
mv重命名文件mv test1 test4 移动文件或目录mv test4 /opt即剪切功能
cp复制文件或目录，参数-r表示递归复制
mkdir创建目录 mkdir -p a/b/c递归创建目录a/b/c
tar解压缩文件
-f<备份文件>或–file=<备份文件> 指定备份文件
-v或–verbose 显示指令执行过程
-x或–extract或–get 从备份文件中还原文件
-z或–gzip或–ungzip 通过gzip指令处理备份文件
-C<目的目录>或–directory=<目的目录> 切换到指定的目录
一般我们使用tar -zxvf XXXX -C /usr/即可

磁盘管理：

df -h磁盘使用情况
mount挂载Linux系统外的文件，umount卸除文件系统，一般系统外文件挂载在/mnt下

用户管理

useradd建立用户账号
-m自动建立用户的登录目录
-g指定用户所属的群组
-d指定用户登入时的家目录
-u 600 在0——499之间表示系统用户，500——2³²之间表示普通用户
passwd更改使用者的密码
kill杀死执行中的程序或工作，使用kill -l查看所有进程，kill -9 pid强制杀死此pid的进程

ssh操作

为后面的集群搭建做准备，需要掌握虚拟机之间通过ssh登录的方法，准备两台虚拟机操作系统。

使用ifconfig命令查看IP地址
使用ping命令查看是否连通
使用ssh root@IP登录，root为登录时的用户名，由于没有使用免密操作需要输入密码，可以使用exit退出

免密操作

打开ssh功能 systemctl start sshd.service，一般默认是打开的
启动root用户su root
使用命令ssh-keygen -t rsa，一路回车，会创建公钥和私钥文件
将公钥文件拷给主虚拟机：ssh-copy-id -i ~/.ssh/id_rsa.pub 目标IP（注：主虚拟机也要执行此操作，否则无法主从互相免密登录，相当于向authorized_keys中注册）
在主虚拟机的.ssh目录下可以看到authorized_keys，拷贝到各虚拟机即可：scp authorized_keys IP:$PWD
现在可以直接使用ssh 'IP'登录另一台虚拟机
注：由于我们刚才切换到root用户进行操作，所以免密登录对root用户有效，同理可切换到其他用户创建密钥链接

scp远程拷贝

scp命令用于Linux之间复制文件和目录
使用scp -r 本地路径目标路径即可，例如：scp -r test3 '192.168.154.11':/tmp，-r表示递归

大数据开发成长之路——Linux基础相关推荐

Java大数据开发做什么？Java大数据开发成长路线
Java开发是IT行业的经典岗位,行业当中存在普遍的需求,Web开发.Android开发.游戏开发等岗位,基本上Java语言是主力队伍.而进入大数据时代,Java又在大数据方向上有了用武之地.今天我们 ...
大数据开发都需要掌握哪些编程语言
当前正处在大数据时代背景下,大数据技术目前也正处在落地应用的初期,未来大数据的发展空间还是比较大的,所以学习大数据相关技术是个不错的选择. 大数据编程语言的选择要根据具体的工作岗位来进行,目前大数据领 ...
学大数据要学哪些算法_学习大数据开发前需要掌握哪些技能？
学习大数据开发前需要掌握哪些技能? 1. 数学知识数学知识是数据分析师的基础知识. 对于初级数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力即可,了解常用统计模型算法则是加分. 对于 ...
我国教育大数据开发利用，主要面临哪些难题？
我国教育大数据开发利用已经具备一定基础,但还面临不少问题.自<教育信息化十年发展规划(2011-2020年)>颁布实施以来,通过建设教育资源公共服务平台和教育管理公共服务平台积累了教育教学 ...
BigData：大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介.核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS.HBase.Hive}+Docker).经典场景应用之详细攻略 BigData:大数 ...
二本材料专业，干过销售，当过兵，28岁零基础转型大数据开发进百度，很强势！
点击上方 "大数据肌肉猿"关注, 星标一起成长后台回复[加群],进入高质量学习交流群 2021年大数据肌肉猿公众号奖励制度今天介绍一位学习群同学的大数据转型和面试经历,他是二本 ...
想转行做大数据开发，求各路大神给指条明路？
其实想转大数据的最初原因很简单,就是想在收入上有所提升,其实现在越来越多人开始看中大数据开发这个岗位了,无非就是下面这些原因,如果你真的付出努力愿意去学习的话,相信也不会辜负你的努力~ 1.行业发展好 ...
【博学谷学习记录】超强总结，用心分享丨大数据超神之路(一)：Scala基础语法副本
大数据开发基础学习编程语言往往是我们开启学习之路的第一大步.大数据领域的很多框架都是基于Java语言开发的,而且各种框架也都提供了Java API来提供使用和操作接口,所以Java语言的学习逃 ...
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
我正在参加年度博客之星评选,请大家帮我投票打分,您的每一分都是对我的支持与鼓励. 2021年「博客之星」参赛博主:Maynor大数据 (感谢礼品.红包免费送!) https://bbs.csdn.ne ...

大数据开发成长之路——Linux基础

Linux基础

环境

常见的Linux指令

ssh操作

scp远程拷贝

大数据开发成长之路——Linux基础相关推荐

最新文章

热门文章