Linuxcurl是通过url语法在命令行下上传或下载文件的工具软件,它支持http,https,ftp,ftps,telnet等多种协议,常被用来抓取网页和监控Web服务器状态。
1.linuxcurl抓取网页:
抓取百度:
curlhttp://www.baidu.com
如发现乱码,可以使用iconv转码:
curlhttp://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
2.Linuxcurl使用代理:
linuxcurl使用http代理抓取页面:
linuxcurl使用http代理抓取页面:
curl-x111.95.243.36:80http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312curl-x111.95.243.36:80-Uaiezu:passwordhttp://www.baidu.com使用socks代理抓取页面:
curl--socks4202.113.65.229:443http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
curl--socks5202.113.65.229:443http://tech.cxzzl.com.cn/ic.asp|iconv-fgb2312
代理服务器地址可以从看爬虫代理上获取。
3.linuxcurl处理cookies
接收cookies:
curl-c/tmp/cookieshttp://www.baidu.com#cookies保存到/tmp/cookies文件
发送cookies:
curl-b"key1=val1;key2=val2;"http://www.baidu.com#发送cookies文本curl-b/tmp/cookieshttp://www.baidu.com#从文件中读取cookies
4.linuxcurl发送数据:
linuxcurlget方式提交数据:
curl-G-d"name=value&name2=value2"http://www.baidu.com
linuxcurlpost方式提交数据:
curl-d"name=value&name2=value2"http://www.baidu.com#post数据curl-da=b&c=d&txt@/tmp/txthttp://www.baidu.com#post文件以表单的方式上传文件:
curl-Ffile=@/tmp/me.txthttp://tech.cxzzl.com.cn
相当于设置form表单的method=”POST”和enctype=’multipart/form-data’两个属性。
5.linuxcurlhttpheader处理:
设置http请求头信息:
curl-A"Mozilla/5.0Firefox/21.0"http://www.baidu.com#设置http请求头User-Agent
curl-e"http://pachong.org/"http://www.baidu.com#设置http请求头Referer
curl-H"Connection:keep-alive\n
User-Agent:
Mozilla/5.0"
http://tech.cxzzl.com.cn设置http响应头处理:
curl-Ihttp://tech.cxzzl.com.cn#仅仅返回header
curl-D/tmp/headerhttp://tech.cxzzl.com.cn#将httpheader保存到/tmp/header文件
6.linuxcurl认证:
curl-uaiezu:passwordhttp://tech.cxzzl.com.cn#用户名密码认证curl-Emycert.pemhttps://www.baidu.com#采用证书认证
7、其它
curl-#http://www.baidu.com#以“#”号输出进度条
curl-o/tmp/aiezuhttp://www.baidu.com#保存http响应到/tmp/cxzzl

Linuxcurl命令参数详解相关推荐

  1. oracle imp 1403,Oracle中用exp/imp命令参数详解【转】

    Oracle中用exp/imp命令参数详解 [用 exp 数 据 导 出]: 1  将数据库TEST完全导出,用户名system 密码manager 导出到D:daochu.dmp中 expsyste ...

  2. shell编程系列23--shell操作数据库实战之mysql命令参数详解

    shell编程系列23--shell操作数据库实战之mysql命令参数详解mysql命令参数详解-u 用户名-p 用户密码-h 服务器ip地址-D 连接的数据库-N 不输出列信息-B 使用tab键代替 ...

  3. linux :Tar 命令参数详解

    linux Tar 命令参数详解 tar命令 1. 作用 tar命令是Unix/Linux系统中备份文件的可靠方法,几乎可以工作于任何环境中,它的使用权限是所有用户. 2. 格式 tar [主选项+辅 ...

  4. java ext.dirs_关于-Djava.ext.dirs使用及JAVA 命令参数详解System.setProperty

    大家在linux环境下使用命令行执行java程序时,经常要使用到大量外部的jar包或class文件,一般我们有哪些方式可以用呢? -classpath,命令格式:# java -classpath , ...

  5. Windows 运行chkdsk磁盘修复工具命令参数详解

    Windows 运行chkdsk磁盘修复工具命令参数详解 chkdsk是Windows系统自带的磁盘修复工具,通常在电脑非正常关机之后再开机,系统就会自动调用chkdsk工具进行磁盘扫描和修复.同时, ...

  6. Mount 命令参数详解

    Mount 命令参数详解 mount是Linux下的一个命令,它可以将分区挂接到Linux的一个文件夹下,从而将分区和该文件夹关联起来,因此只要访问这个文件夹,就相当于访问该分区了. 目前mount已 ...

  7. 【WINDOWS / DOS 批处理】dir命令参数详解(二)

    dir命令参数详解(一) dir命令参数详解(二) 命令格式 DIR [drive:][path][filename] [/A[[:]attributes]] [/B] [/C] [/D] [/L] ...

  8. 【WINDOWS / DOS 批处理】if命令参数详解(一)

    if命令参数详解(一) if命令参数详解(二) 命令格式 在CMD.EXE禁用命令扩展模式下,IF 命令可以使用以下三种格式: [格式一]IF [NOT] ERRORLEVEL number comm ...

  9. 【WINDOWS / DOS 批处理】if命令参数详解(二)

    if命令参数详解(一) if命令参数详解(二) [格式四]IF [ /I ]  [ NOT ]  string1 compare-op string2 command string1 compare- ...

最新文章

  1. ios9定位服务的app进入后台三分钟收不到经纬度,应用被挂起问题及解决方案
  2. 从C#到Objective-C,循序渐进学习苹果开发(7)--使用FMDB对Sqlite数据库进行操作
  3. AAAI2021论文:一个激光雷达点云的3D目标单步检测法CIA-SSD
  4. 各种排序算法总结篇(高速/堆/希尔/归并)
  5. u-boot移植第二弹——移植2012.10u-boot到RealARM210 cortex-A8开发板
  6. 计算机基础access数据库操作题,2021年3月全国计算机等级考试二级Access数据库程序设计题库及答案讲解...
  7. 77. 组合016(回溯法)
  8. mysql,in中重复的记录也查出的方法
  9. JavaEE中级.20190615.易买网项目(一).隐藏域.
  10. 小米选择了总是打开方式_小米更改默认程序 小米修改默认程序的打开方式
  11. 表达式引擎Aviator基本介绍及使用以及基于Aviator的规则引擎(附代码详细介绍)
  12. Mac 技巧之苹果电脑 Mac OS X 系统下一键即密码锁定屏幕,防止别人乱用乱看的方法
  13. 小学生C++趣味编程 上机作业 每日一练 第1单元 顺序结构
  14. 心流——微妙的人际关系
  15. 踩坑日记——Oracle 错误:ORA-22922 不存在的 LOB 值
  16. python中的数据类型有哪些是可阅读_Python list data type(list)[学习Python的必要基础知识][阅读本文],列表,数据类型,必备,看此,一篇,就够,了...
  17. c语言路径搜索,c语言程序(单元路劲及多元路径的搜索)
  18. Spring 各种 Aware 接口回调注入
  19. 加密算法的重要性以及了解加密算法分类
  20. JAVA 开发相关软件介绍以及安装使用教程(初学者一定要收藏)

热门文章

  1. C# 事件详解附实例分析
  2. python和嵌入式哪个容易_嵌入式与python选哪个
  3. UC/OS-II的学习
  4. iphone查看删除的短信_想要恢复已经删除的的短信怎么办?
  5. git 常用的撤销操作
  6. C++轮子队-第三周(需求改进原型设计)
  7. 48、多用块枚举,少用for循环
  8. mysql数据库面试总结(一)
  9. 运算放大器单电源应用中的使用齐纳二极管偏置方法
  10. hive sql 报错后继续执行_Hive 执行sql命令报错