学习笔记来源于尚硅谷,如有侵权请联系删除

【大数据之Linux】

centos及Vmware配置

下载地址:链接: https://www.centos.org/download/

  1. 网络设置说明:1桥接网络:主机作为桥,虚拟机和主机对外表现同一个ip。2网络地址转换NAT:在主机内部划分ip,外部是无法看到虚拟机ip,类似主机虚拟一个局域网。
  2. 启动虚拟机需要看cpu支持虚拟化技术VT-x,在任务管理器—性能—虚拟化
  3. Linux架构管理基于文件夹目录
  4. 下图是手动分区,swap区作为交换区,类似于windows里的虚拟内存技术,防止内存不足。

文件系统

  1. bin目录:二进制命令文件夹。lib:系统命令库文件夹。boot:引导启动的核心文件。dev:设备。etc:配置文件。home:用户文件夹。root:超级管理员文件夹。opt:可选目录(第三方软件)。proc:进程目录。run:当前系统运行的实时信息。sys:系统硬件信息。var:可变目录,存放日志。
  2. 常用快捷键:
    *yy 复制当前光标后*行 ,y$:复制当前光标到当前行末尾,y^复制当前行开始到光标位置;
    *p粘贴 *次 ; *dd删除*行;u撤销之前操作。
    shift+$移动到当前行末,shift+^移动到当前行首
    L 可以直接跳到当前页末,G跳转到全文末尾。
    :set nu显式行号,:set nonu 关闭行号
    :wq! 可以将只读文件强制修改保存。

网络配置和系统管理

  1. 配置网络命令 vim /etc/sysconfig/network-scripts/ifcfg-ens33
    IPADDR=
    GATEWAY=
    DNS1=
  2. 重启网络命令 service network restart
  3. 配置主机名 vim /etc/hostname 需要重启生效;
    直接生效:hostnamectl set-hostname ***
  4. 配置集群间的通讯录 vim /etc/hosts 在文件后添加主机和节点的ip和主机名映射关系。
  5. 远程登录:ssh 用户名@主机地址
  6. 配置windows 下主机名文件 C:\Windows\System32\drivers\etc
  7. 服务管理: systemctl start | stop | restart | status 服务名 。
    查看服务名:/usr/lib/systemd/system
  8. 运行级别
  9. Linux对数据是预读和延迟写入。命令sync可以把内存数据同步到硬盘中。

常用文件命令

  1. man获取帮助信息,help获取shell内置命令的帮助信息
  2. pwd 获取当前工作目录的绝对路径
  3. ls -l = ll 获取文件列表
  4. mkdir -p 当父目录不存在的时候,可以创建父目录。
  5. rm -rf * 可以删除整个文件夹,不会有提示
  6. touch * 创建文件
  7. cp * * 把一个文件复制到另一个文件夹 ,如果都是目标路径是文件则可以覆盖目标路径的文件(\cp * * 不会提示是否覆盖)

  1. rm -rf /* 千万别试

  1. mv 移动文件 ,可以重命名
  2. cat 查看文件内容 more 内置文件查看器,可以翻页等操作,b向前 f 向后
  3. echo * 可以输出文件 ; echo * > 文件 将覆盖文件;echo * >> 将追加到文件。
  4. head -n * 文件名: 可以看文件的前n行,tail可以看文件后n行;tail -f 查看文件实时更新
  5. ln -s 文件名 软连接命 :创建软连接(win下的快捷方式)

用户管理命令

  1. useradd * 添加用户,在home文件夹下;useradd -d /home/dave david 这个可以为新用户重命名,实际文件夹是dave;userdel * 删除该用户。adduser -g 组名 用户命:添加一个新用户到指定组。
  2. passwd 新用户名: 设置密码
  3. id 用户名:可以查看用户是否存在;su 用户名:可以切换用户
  4. 修改/etc/sudoers文件,添加用户可以被赋予超级管理员权限。sudo 可以获取临时超级管理员权限(前提是该用户在sudoers文件中)
  5. groupadd 添加用户组;usermod -g 组名 用户名 :修改用户的组 ;groupmod -n 新组名 旧组名,修改组名。
  6. 如果有某个文件w权限仅代表可以修改,删除该文件需要有该文件所在的目录的w权限。
  7. 权限设置 例如:chmod u=rw;chmod g-r 文件名或目录;
    方式二:r=4,w=2,x=1; rwx = 4+2+1=7 rx = 4+1=5;命令:chmod mode=421 文件名目录 ;chmod -R 777 文件夹/ :可以对该文件夹下全部文件赋予权限。
  8. chown -R 属主 文件名:改变文件属主;chgrp 所属组 文件名:改变文件所属组。
  9. find 搜索范围 模式 ;模式有 -name:指定文件名; -user 属于指定用户的所有文件;-size 按文件大小查找;
    locate 可以更加快速查找,执行前先执行updatedb命令更新文件夹目录。
    grep 可以查找文件内容 ,命令 grep -n 查找内容 文件名;可以结合管道符 “|” ,顺序多条命令。
  10. 压缩解压:
    (1)gzip 文件:压缩为.gz文件 (只能压缩文件,不保留原来文件); gunzip 文件.gz 解压文件
    (2)zip -r 可以压缩目录 ;unzip -d 目录 :可以指定解压后文件的存放目录。
    (3)tar -选项 **.tar.gz 打包目录,可以同时指定多个文件。 选项:-c 打包; -f 指定压缩有文件名; -z 打包同时压缩;-x 解包.tar文件;-C 解压到指定目录。
  11. du -sh 和 df -h 查看磁盘上使用情况和剩余空间。lsblk 可以设备挂载点
  12. mount / umount 挂载和卸载 ,命令:mount -o rw 设备名 目录;配置自动挂载 /etc/fstab文件
  13. ps aux 查看进程 ;ps -ef 可以看到父进程id PID ;字段名说明:VSZ 虚拟内存 ;RSS 物理内存; kill 进程号 :关闭进程;top 实时查看进程状态
  14. netstat -anp | grep 进程号 :查看该进程网络信息;
    netstat -nlp | grep 端口号: 查看网络端口号占用情况
  15. crontab 定时任务,-e :编辑任务; 进程名:crond;
  16. rpm 软件包管理工具 -qa:查询所有安装软件;-ivh rpm包全名:安装软件;-e 软件名:卸载软件
  17. yum 基于rpm包管理,可以从指定服务器下载安装,安装全部的相关依赖。yum -y :途中交互全yes。 install 安装;update:更新;remove 删除包;list 显示包信息;clean 清理过期的缓存;diplist 显示所有依赖关系

克隆虚拟机

  1. 修改ip 关于network与NetworkManger冲突问题:
    开机没有网络,NetworkManger处于启动状态且network处于关闭状态,当前解决办法:关闭NetworkManger并且设置开机不启动,转而使用network,并且设置开机启动。命令如下:
    systemctl stop NetworkManager.service
    systemctl disable NetworkManager.service
    systemctl restart network
    systemctl enable network.service
    /sbin/chkconfig network on

【大数据之Linux】相关推荐

  1. 大数据及Linux安装

    大数据及Linux安装 大数据背景 现在的社会发展相当迅速,科技发达,信息流通,使得人们之间的交流越来越密切,生活也越来越方便,在智能手机.智能穿戴设备基本普及的高科技时代的背景下,大数据应运而生. ...

  2. 学习编程第一章 `大数据应用` linux系统jdk安装

    学习编程第三章 大数据应用 linux系统jdk安装 下载jdk 下载网址: https://www.oracle.com/technetwork/java/javase/downloads/java ...

  3. 大数据之Linux篇(一)

    文章目录 1.VMware Workstation的下载与安装 2.虚拟机准备 3.centos7安装 本文主要是vm中安装Linux相关的笔记 1.VMware Workstation的下载与安装 ...

  4. 大数据之linux虚拟机的复制以及环境配置

    虚拟机的复制 第一步:复制一个已经安装好的虚拟机,并重命名 第二步:右键选择CentOS 7 64位.vmx,并编辑,不修改的话只能打开一台机器 第三步:双击已经复制好的目录里面的CentOS 7 6 ...

  5. 【大数据】Linux下Storm(0.9版本以上)的环境配置和小Demo

    一.引言: 在storm发布到0.9.x以后,配置storm将会变得简单很多,也就是只需要配置zookeeper和storm即可,而不再需要配置zeromq和jzmq,由于网上面的storm配置绝大部 ...

  6. 大数据之Linux 基础

    Linux 基础 Linux 开始 虚拟机 Linux 准备工作 Linux 安装步骤 选择稍后安装 网络类型选择 NAT 修改最大磁盘大小(这里最大磁盘大小指给虚拟机分配的,但不真正使用不是这么多) ...

  7. 大数据之Linux命令

    Linux操作系统的常用命令 Linux命令的基础语法结构 []包围起来的,表示是可选的意思. ls命令 功能:列出来当前文件夹下,有哪些文件 如图,通过ls可以看到,在当前的文件夹下有许多的文件和文 ...

  8. 大数据学习 - Linux系统操作入门

    Linux学习目录 DAY01 1 VMware安装LinuxCentOS操作系统 2 配置网卡 3 学习基本指令 DAY02 1 用户的管理 1.1 操作指令 useradd usermod (与u ...

  9. 大数据之Linux基础认识

    Linux的起源和发展 在上世纪70年代开始,操作系统比较火的是Unix操作系统. Unix操作系统虽然比较火,但是有一系列的问题(版权.开放源码等) 在市面上就有许多的公司或个人,基于Unix去进行 ...

最新文章

  1. C语言实现SHA-1
  2. 科罗拉多州立大学计算机科学专业,美国科罗拉多州立大学有哪些好专业?
  3. linux挂载一个文件夹,linux挂载一个文件夹到另一个文件夹
  4. jquery和php上传文件进度条,jQuery实现文件上传进度条特效_jquery
  5. 洛谷——P1059 [NOIP2006 普及组] 明明的随机数
  6. 【每日算法Day 64】LeetCode 861. 翻转矩阵后的得分
  7. 解决Myeclipse10 Building Workspace速度慢的问题
  8. 如何得到最后N位都是1的二进制数
  9. 史上最详细Oracle 10g安装教程
  10. NEFU 262 贪吃的九头龙(树形背包,4级)
  11. web端的兼容性测试
  12. 2021年广东工业大学第11届腾讯杯新生程序设计竞赛(同步赛)F osu
  13. 撸一个聊天室(vue+koa2+websokect+mongodb)
  14. 文件排版2.2 (python)
  15. 云起实验室:零基础入门Serverless:一键部署红白机小游戏
  16. html5创建三次贝塞尔曲线,HTML5 Canvas中使用路径描画二阶、三阶贝塞尔曲线
  17. 华为交换机常见ARP操作
  18. 一元三次函数的最值计算
  19. Cocos Creator Android 平台 Google 原生登录
  20. 安装mysql5.7.16_Win7下安装MySQL5.7.16过程记录

热门文章

  1. 如何多个进程监听同一个端口
  2. 计算机CPU处理,吞吐量
  3. http://mybatis.org/dtd/mybatis-3-config.dtd标红
  4. 【控制】自适应控制,模型参考自适应控制,公式推导,有程序有结果图
  5. linux学习笔记-- linux的 shell和linux C 程序 获取命令行参数和环境变量
  6. 史上最详细Mysql免安装版教程
  7. 最简单的MySQL安装教程(数据库免安装版,免安装版,亲测好用) mysql-5.7.33-winx64.zip
  8. HE3342E单节 2A 开关型锂离子电池充电芯片
  9. 使用snap安装mosquitto并且进行初步配置
  10. NC | 西湖大学鞠峰组在聚氯乙烯塑料微生物降解方向取得新突破