scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时,用scp可以帮你把文件移出来。另外,scp还非常不占资源,不会提高多少系统负荷,在这一点上,rsync就远远不及它了。虽然 rsync比scp会快一点,但当小文件众多的情况下,rsync会导致硬盘I/O非常高,而scp基本不影响系统正常使用。scp在夸机器复制的时候为了提高数据的安全性,使用了ssh连接和加密方式,如果机器之间配置了ssh免密码登录,那在使用scp的时候密码都不用输入。

一般而言,我们会选择使用rsync进行远程同步或拷贝。rsync和scp的区别在于:

->rsync只对差异文件做更新,可以做增量或全量备份;而scp只能做全量备份。简单说就是rsync只传修改了的部分,如果改动较小就不需要全部重传,所以rsync备份速度较快;默认情况下,rsync 通过比较文件的最后修改时间(mtime)和文件的大小(size)来确认哪些文件需要被同步过去。

->rsync是分块校验+传输,scp是整个文件传输。rsync比scp有优势的地方在于单个大文件的一小部分存在改动时,只需传输改动部分,无需重新传输整个文件。如果传输一个新的文件,理论上rsync没有优势;

->rsync不是加密传输,而scp是加密传输,使用时可以按需选择。

SCP拷贝命令中常用的几个参数说明

-B 使用批处理模式(传输过程中不询问传输口令或短语)

-C 允许压缩。(将-C标志传递给ssh,从而打开压缩功能)

-p 保留原文件的修改时间,访问时间和访问权限。

-q 不显示传输进度条。

-r 递归复制整个目录。

-v 详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接,验证和配置问题。

-c cipher 以cipher将数据传输进行加密,这个选项将直接传递给ssh。

-F ssh_config 指定一个替代的ssh配置文件,此参数直接传递给ssh。

-i identity_file 从指定文件中读取传输时使用的密钥文件,此参数直接传递给ssh。

-l limit 限定用户所能使用的带宽,以Kbit/s为单位。

-o ssh_option 如果习惯于使用ssh_config(5)中的参数传递方式,

-P port 注意是大写的P, port是指定数据传输用到的端口号

-S program 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。

Rsync拷贝命令中常用的几个参数说明

-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD

-v, --verbose 详细模式输出

-p, --perms 保持文件权限

-g, --group 保持文件属组信息

-o, --owner 保持文件属主信息

-r, --recursive 对子目录以递归模式处理。同步目录的时候要加上这个参数

-l, --links 保留软链结,加上这个参数,同步过来的文件会保持之前的软链接属性不变

-H, --hard-links 保留硬链结

-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

-z, --compress 对备份的文件在传输时进行压缩处理

--stats 给出某些文件的传输状态

--progress 打印同步的过程

--timeout=TIME 同步过程中,IP超时时间,单位为秒

--delete 删除那些目标目录中有而源目录中没有的多余文件。这个是rsync做增量方式的全备份的最佳选择方案!!!!!!

--delete-before 接受者在输出之前进行删除操作。即先将目标目录中文件全部删除,再将源目录文件拷贝过去。这是rsync保持目标目录跟源目录一致的方案!!!

--delete-after 在同步操作之后做比较,删除那些目标目录中有而源目录中没有的多余文件

--delete-excluded 删除目标目录中那些被该选项指定排除的文件

--ignore-errors 即使出现IO错误也进行删除,忽略错误

--exclude 指定同步时需要过滤掉的文件或子目录(即不需要同步过去的),后面直接跟不需要同步的单个文件名或子目录(不需要跟路径) ,过滤多个文件或子目录,就使用多个--exclude

--exclude-from 指定同步时需要过滤掉的文件或子目录,后面跟文件(比如/root/exclue.txt),然后将不需要同步的文件和子目录放到/root/exclue.txt下。

--version 打印版本信息

--port=PORT 指定其他的rsync服务端口

--log-format=formAT 指定日志文件格式

--password-file=FILE 从FILE中得到密码

--bwlimit=KBPS 限制I/O带宽,KBytes per second

在使用SCP和Rsync进行远程同步的时候,需要注意下面几个技巧:

1)远程拷贝时的软链接处理

用rsync远程拷贝目录时,只需要加上-l参数就可以实现拷贝软链接。

用scp远程拷贝目录时, 那么目录下的软链会丢失,如果想要软链接也拷贝过去,正确的做法是:

1)在源服务器上, 打包, tar zcvf test.tar.gz test

2)把源服务器上的test.tar.gz拷贝到目标服务器上

3)在目标服务器上执行tar zxvf test.tar.gz, 进行解包, 可以看到, 软链接保持得好好的。

2)远程拷贝时的进度条显示

1)rsync命令

[root@dbtest bak]# rsync -e "ssh -p22222" -avpgolr --progress db170630.tar.gz 192.168.1.198:/data/upload/

root@192.168.1.198's password:

sending incremental file list

db170630.tar.gz

702087168 4% 5.60MB/s 0:41:47

--progress 可以实现本机带进度条提示拷贝,可以实现不同机器带进度条提示拷贝,可以拷贝多个文件

2)scp命令

[root@dbtest bak]# scp -v /mnt/full20100526.tar.gz /usr/local/src/

[以上命令] 本机拷贝无法显示进度

[root@dbtest bak]# scp -v /mnt/full20100526.tar.gz root@192.168.1.1:/usr/local/src/

[以上命令] 不同机器拷贝可以显示进度条,即使不带"-v"参数也可以显示进度条

[root@dbtest bak]# scp -v /mnt/full20100526.tar.gz root@127.0.0.1:/usr/local/src/

[以上命令] 变相实现本机带进度条提示拷贝,可以不带"-v"参数

3) cp命令

暂时没有找到带进度条提示拷贝

3)远程拷贝时的限流

rsync拷贝命令(--bwlimit)

[root@dbtest bak]# rsync -auvz --progress --delete --bwlimit=1000 远程文件 本地文件 //限制为1000kBytes/s

[root@dbtest bak]# rsync -auvz --progress --delete --bwlimit=2048 远程文件 本地文件 //限制为2M/s

scp拷贝命令(-l参数)

[root@dbtest bak]# scp -l 1024 file root@192.168.1.100 //限制为1M Bytes/s

4)远程拷贝时的过滤

-----rsync命令-----

需要排除某个文件(或文件夹),可以用--exclude来指定(事实上,系统会把文件和文件夹一视同仁)。例如:

1)需要排除源目录下的dir1文件夹,可以写为:

[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude=dir1 /var/www/src/ /var/www/dest

可以同时排除多条

[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude=dir1 --exclude=dir2 /var/www/src/ /var/www/dest

[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude "file1" --exclude="file2" --exclude dir1 --exclude=dir2 /var/www/src/ /var/www/dest

注意:

a)过滤参数使用"--exclude"或"--exclude="都可以,参数后面跟的文件或目录加不加引号的效果也都一样!

b)过滤参数后面跟的文件或目录必须直接是文件或目录名,不能跟路径(不管是相对路径还是绝对路径,否则就过滤不掉)

比如:下面的写法就过滤不掉test目录下的file1文件,不管是相对路径还是绝对路径

[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude "/var/www/src/test/file1" /var/www/src/ /var/www/dest

[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude "../test1" /var/www/src/ /var/www/dest

去掉路径,使用下面的写法就可以正常过滤了

[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude "file1" /var/www/src/ /var/www/dest

c)另外:过滤参数还可以使用通配符 避开不想同步的文件或目录,

例如,同步/var/www/src/目录下的内容到/var/www/dest目录下,同步时过滤以test开头的文件/目录 以及 以data结尾的文件/目录

[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude "test*" --exclude="*data" /var/www/src/ /var/www/dest

2)如果想要过滤同步的文件或目录过多,可以通过--exclude-from来指定一个特定文件。例如:

[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude-from=exclude.list /var/www/src/ /var/www/dest

exclude.list文件中指定需要排除的文件或目录列表(这个文件前面的参数只能是--exclude-from)

[root@dbtest bak]# cat exclude.list

dir1

[0-9]*

dir2/.[a-z0-9]*

.svn

或者

[root@dbtest bak]# /usr/bin/rsync -vzrtopg --exclude-from="/data/bak/exclude.list" /var/www/src/ /var/www/dest

注意:

a)过滤参数使用"--exclude-from"或者"--exclude-from="都可以,后面的文件名加不加引号效果也都一样。

b)这里过滤参数后面跟的exclude.list文件,为了避免出问题,最好设置为绝对路径。但是里面的内容一定要写为相对路径(即当前同步源目录下的相对路径或直接是文件名/目录名)

c)exclude和exclude-from前面都是有两个减号,如果漏写了一个,命令行不会报错,但是不能排除执行的文件或文件夹。

-----scp命令-----

结合find命令进行操作,例如:

将/data目录下除了ms目录之外的所有目录及文件远程拷贝到10.0.11.202机器的/data目录下

[root@dbtest bak]# for i in `find /data/ -type d -path /data/ms -prune -o -print |awk -F"/" '{print $3}'|sort|uniq`;do /usr/bin/scp -r /data/$i root@10.0.11.202:/data/;done

5)远程拷贝时的隐藏文件

-----rsync命令-----

如下(注意带/)

可以将/path/to/source/目录下所有的文件(包括隐藏文件)一起拷贝到192.168.1.5机器的/path/to/dest/目录下

[root@dbtest bak]# rsync -e "ssh -p22" -avpgolr /path/to/source/ user@192.168.1.5:/path/to/dest/

如下(注意带/*)

可以将/path/to/source/目录下所有的文件(不包括隐藏文件)一起拷贝到192.168.1.5机器的/path/to/dest/目录下

[root@dbtest bak]# rsync -e "ssh -p22" -avpgolr /path/to/source/* user@192.168.1.5:/path/to/dest/

-----scp命令-----

如下(注意带)

可以将/path/to/source/目录下所有的文件(包括隐藏文件)一起拷贝到192.168.1.5机器的/path/to/dest/目录下

[root@dbtest bak]# scp -rp -P 22 /path/to/source/. user@192.168.1.5:/path/to/dest/

如果直接使用/,则就是把/path/to/source整个目录拷贝到192.168.1.5机器的/path/to/dest/目录下,即拷贝到远程

的目录是/path/to/dest/source

[root@dbtest bak]# scp -rp -P 22 /path/to/source/ user@192.168.1.5:/path/to/dest/

如下(注意/*)

可以将/path/to/source/目录下所有的文件(不包括隐藏文件)一起拷贝到192.168.1.5机器的/path/to/dest/目录下

[root@dbtest bak]# scp -rp -P 22 /path/to/source/* user@192.168.1.5:/path/to/dest/

---------------

注意,直接使用rm或rm -rf删除一个目录时,默认目录下的隐藏文件是删除不掉的,隐藏文件需要单独删除,如下:

[root@dbtest ~]# cd /opt/

[root@dbtest opt]# ll -a

total 28

drwxr-xr-x. 3 root root 4096 Mar 8 15:00 .

dr-xr-xr-x. 27 root root 4096 Feb 26 03:54 ..

-rw-r--r--. 1 root root 0 Mar 8 09:47 ac

-rw-r--r--. 1 root root 45 Mar 8 09:47 a.txt

-rw-r--r--. 1 root root 0 Mar 8 09:47 bb

-rw-r--r--. 1 root root 21 Mar 8 09:45 b.txt

-rw-r--r--. 1 root root 0 Mar 8 09:47 gg

-rw-r--r--. 1 root root 52 Mar 8 15:00 .haha

drwxr-xr-x. 2 root root 4096 Mar 8 15:00 .kevin

-rw-r--r--. 1 root root 33 Mar 8 15:00 .my.cnf

[root@dbtest opt]# rm -rf ./*

[root@dbtest opt]# ll -a

total 20

drwxr-xr-x. 3 root root 4096 Mar 8 17:44 .

dr-xr-xr-x. 27 root root 4096 Feb 26 03:54 ..

-rw-r--r--. 1 root root 52 Mar 8 15:00 .haha

drwxr-xr-x. 2 root root 4096 Mar 8 15:00 .kevin

-rw-r--r--. 1 root root 33 Mar 8 15:00 .my.cnf

[root@dbtest opt]# rm -rf .haha .kevin .my.cnf

[root@dbtest opt]# ll -a

total 8

drwxr-xr-x. 2 root root 4096 Mar 8 17:44 .

dr-xr-xr-x. 27 root root 4096 Feb 26 03:54 ..

scp 保留文件属组_SCP和Rsync远程拷贝的几个技巧相关推荐

  1. scp 保留文件属组_scp 对拷文件夹 和 文件夹下的所有文件 对拷文件并重命名

    对拷文件夹 (包括文件夹本身) scp -r   /home/wwwroot/www/charts/util root@192.168.1.65:/home/wwwroot/limesurvey_ba ...

  2. scp 保留文件属组_SCP命令用法详解-hdparm工具参数详解-改变文件组命令chgrp和改变文件属主命令chown_169IT.COM...

    scp命令跟cp命令类似,只不过cp命令是在同一台机器上用的,scp是在两台机器上复制传输数据的命令.scp实质相当于利用SSH协议来传输数据的cp命令. 用法举例: 1.复制远程服务器的文件到本地: ...

  3. scp 保留文件属组_scp传输文件的权限问题

    Ivan 发表于 2007-6-17 6:11:00 scp命令传输到目标主机的文件权限确实跟目标主机上的一个值有关,我们暂称此值为"类umask"值.从源主机传到目标主机(不加- ...

  4. Linux同步目录 保留文件修改时间和权限 rsync

    scp copy文件夹的时候,会强行覆盖文件,导致增量同步的时候不方便,而rsync则能很好解决这个问题. rsync -avz ubuntu@192.168.1.208:/home/ubuntu/m ...

  5. linux scp命令 不输入远程机器的密码,scp 命令无需输入密码完成 Linux 系统间远程拷贝...

    前面介绍了 scp 命令 Linux 系统间远程拷贝命令 scp 的基本用法,在拷贝的时候均需要输入远程主机的密码,一比较麻烦,二在很多场景下不太适用,比如有一个 shell 脚本是 MySQL 定时 ...

  6. oracle 数据文件 属组,kfed找出来asm 磁盘组中数据文件别名对应的文件号—amdu恢复...

    前段时间有多个朋友问我,在amdu中,如果数据文件命名不是omf的方式,该如何找出来数据文件的asm file_number,从而实现通过amdu对不能mount的磁盘组中的数据文件进行恢复,这里通过 ...

  7. 将文件转成byte[]文件属组

    /*** * @Description : 读取文件数组* @Method_Name : fileBuff* @param filePath* @return* @throws IOException ...

  8. java scp发送文件到服务器,Java实现往远程服务器传输文件

    Java实现往远程服务器传输文件 内容精选 换一换 已成功登录Java性能分析.待安装Guardian的服务器已开启sshd.待安装Guardian的服务器已安装JRE,JRE版本要求为Huawei ...

  9. linux scp传输文件权限被拒绝,Linux的远程传输文件scp及出现Permission denied (publickey).lost connection问题解决方法...

    一.Linux的远程传输文件scp使用方法 1.当前Linux系统 --> 远程Linux系统 scp 当前Linux系统文件路径/文件名 远程Linux用户名@IP地址:远程Linux系统文件 ...

最新文章

  1. 摇橹船以“硬科技+人工智能”助推高质量发展
  2. 轮椅上的博士矣晓沅:9 年求学路,我从清华毕业了
  3. 2.10 词嵌入除偏-深度学习第五课《序列模型》-Stanford吴恩达教授
  4. 基于Android系统开发的简易音乐播放器
  5. Spark-1.4.0集群搭建
  6. git提交屏蔽某java类_git 删除某次指定的提交
  7. Redis 几种应用场景
  8. AT649 自由研究
  9. Cocoa教学:Windows OOP与Cocoa MVC之对比
  10. 【ArcGIS教程】专题图制作-地图渲染-地图整饰
  11. html5语义化标签标记定义导航,gogo娱乐-官方网站
  12. 思科配置系统日志服务器配置,思科路由器 设置日志服务器配置
  13. SIM900A 开发板连线图
  14. echarts常见图形-时间轴(五)
  15. bilibili弹幕游戏
  16. 移动端touch事件影响界面click/超链接事件无法点击
  17. 几张图片演示PD(PowerDesigner)生成数据库脚本sql文件
  18. 改革人工智能时代的劳动技能教育
  19. LeetCode刷题之旅正式开始
  20. python基础——数据可视化

热门文章

  1. 国产ETL工具 etl-engine
  2. Mysql中慢查询语句分析
  3. Linux安装卸载java
  4. matlab 拟合函数,MATLAB的拟合函数和工具
  5. 180道大厂算法工程师(Python语言)面试题合集
  6. SAP MRP公式与计算
  7. Html5交互动画 精灵动画素材图片
  8. 图片一键去水印软件哪个好 怎么去图片水印
  9. 直播助企业玩转企业直播营销
  10. 汇编和c只有一步之近----小话c语言(19)