windows下的安装与使用curl实现命令行访问Web网站
文章目录
- curl 是什么?
- curl 能干什么?
- Windows下的curl的使用
- curl常见用法
- 获取内容的命令选项
- 参数传递(-d)
- Cookie操作
- 使用注意事项
- curl 命令选项大全
curl 是什么?
矫情一点, curl应该写作cURL, 全写是:CommandLine Uniform Resource Locator, 命令行统一资源定位器。顾名思义,cURL就是使用命令行访问网页URL的工具。
Linux系统自带curl工具, 以CentOS为例, 在命令行终端输入:
curl https://www.baidu.com
稍好片刻,终端会返回网站的响应源代码,效果如下:
curl 能干什么?
正常使用浏览器访问在线网页,是不需要使用curl的, curl比较常使用在爬虫程序或是网页分析的程序中。场景包括:
- 定期爬某些网站,获取源码,解析其中有用的部分
- 企业内部系统串接, 被访问系统提供HTTP(s)的对外接口,附加GET类型的参数,并返回执行成功与失败的响应。
- 脚本程序。比如批次脚本或是部署脚本。
Windows下的curl的使用
Windows默认没有提供该工具,但可以下载第三方的程序,下载地址:
https://curl.haxx.se/windows/
下载页面如下(根据操作系统版本选择下载):
下载完成是一个.zip 的压缩文件, 要在命令行窗口直接使用curl命令,需要做以下两件事:
- 下载之后解压。
- 配置环境变量。将curl解压后的bin目录配置到系统Path变量中,这样打开命令行就可以直接使用curl命令了。
这里解压到D盘install 目录,解压后目录结构如下:
Windows 10下环境配置页面如下:
以上配置完成,新开Windows 命令行窗口, 输入 curl https://www.baidu.com
, 出现以上和Linux类同的响应即安装成功。
curl常见用法
除了获取页面源码外, curl 还可以通过添加命令选项获取头信息、添加参数、发送Cookie等操作。
获取内容的命令选项
- 基本使用,获取内容(HTTP源码)
curl www.baidu.com
-i
除了网页内容,还包括头信息,比如curl www.baidu.com -i
-I
仅获取头信息,比如:curl www.baidu.com -I
-v
获取更详细的信息, 比如:curl www.baidu.com -v
。 v是verbose(详细)的简写, 包括:源码,头,IP,协议等
参数传递(-d)
curl使用 -d 选项传递参数,对于不同类型的请求参数,可以结合 -X 参数。
- GET类型的参数
GET类型的请求参数其实可以直接附加在URL后面, 类似:http://地址?参数名1=参数值1&参数名2=参数值2
。也可以使用 -d 和 -G 选项(-d 后面是参数的键和值, -G代表GET方法类型,与-X GET 效果类似),类似:
curl -G -d "username=oscar" www.baidu.com
- POST方法参数
直接看实例:
curl -d "username=oscar" -X POST www.baidu.com
这里的 -X POST也可以省略,直接写成:
curl -d "username=oscar" www.baidu.com
- 多个参数的传递
多个参数可以使用 &, 也可以使用多个 -d。
方式1: 使用&
curl -d "username=oscar&password=123" www.baidu.com
方式2: 多个 -d 选项
curl -d "username=oscar" -d "password=123" www.baidu.com
- 参数文件
如果参数较多的话,也可以将参数放在一个文件中,使用参数文件进行传递,比如:
curl -d "@params.txt" www.baidu.com
params.txt是文件名
Cookie操作
Cookie的操作包括:
- 发送Cookie到服务端
- 接收服务端返回的Cookie,写入本地
对应以上两种操作,可以分别使用 -b 和 -c 命令选项。 -b
, 发送Cookie到服务器 ,示例:curl -b "foo=bar" www.baidu.com
, 也可以发送文件,示例:curl -b cookies.txt www.baidu.com
-c
,将Cookie写入文件,示例:curl -c cookies.txt www.baidu.com
使用注意事项
以上参数使用双引号包含起来的,类似 “username=oscar”,在Linux系统下也可以使用单引号。但是在Windows下使用单引号会无法成功执行,出现的状况是:命令执行后,页面卡住不动。
curl 命令选项大全
--anyauth Pick "any" authentication method (H)-a, --append Append to target file when uploading (F/SFTP)--basic Use HTTP Basic Authentication (H)--cacert FILE CA certificate to verify peer against (SSL)--capath DIR CA directory to verify peer against (SSL)-E, --cert CERT[:PASSWD] Client certificate file and password (SSL)--cert-type TYPE Certificate file type (DER/PEM/ENG) (SSL)--ciphers LIST SSL ciphers to use (SSL)--compressed Request compressed response (using deflate or gzip)-K, --config FILE Specify which config file to read--connect-timeout SECONDS Maximum time allowed for connection-C, --continue-at OFFSET Resumed transfer offset-b, --cookie STRING/FILE String or file to read cookies from (H)-c, --cookie-jar FILE Write cookies to this file after operation (H)--create-dirs Create necessary local directory hierarchy--crlf Convert LF to CRLF in upload--crlfile FILE Get a CRL list in PEM format from the given file-d, --data DATA HTTP POST data (H)--data-ascii DATA HTTP POST ASCII data (H)--data-binary DATA HTTP POST binary data (H)--data-urlencode DATA HTTP POST data url encoded (H)--delegation STRING GSS-API delegation permission--digest Use HTTP Digest Authentication (H)--disable-eprt Inhibit using EPRT or LPRT (F)--disable-epsv Inhibit using EPSV (F)-D, --dump-header FILE Write the headers to this file--egd-file FILE EGD socket path for random data (SSL)--engine ENGINGE Crypto engine (SSL). "--engine list" for list-f, --fail Fail silently (no output at all) on HTTP errors (H)-F, --form CONTENT Specify HTTP multipart POST data (H)--form-string STRING Specify HTTP multipart POST data (H)--ftp-account DATA Account data string (F)--ftp-alternative-to-user COMMAND String to replace "USER [name]" (F)--ftp-create-dirs Create the remote dirs if not present (F)--ftp-method [MULTICWD/NOCWD/SINGLECWD] Control CWD usage (F)--ftp-pasv Use PASV/EPSV instead of PORT (F)-P, --ftp-port ADR Use PORT with given address instead of PASV (F)--ftp-skip-pasv-ip Skip the IP address for PASV (F)--ftp-pret Send PRET before PASV (for drftpd) (F)--ftp-ssl-ccc Send CCC after authenticating (F)--ftp-ssl-ccc-mode ACTIVE/PASSIVE Set CCC mode (F)--ftp-ssl-control Require SSL/TLS for ftp login, clear for transfer (F)-G, --get Send the -d data with a HTTP GET (H)-g, --globoff Disable URL sequences and ranges using {} and []-H, --header LINE Custom header to pass to server (H)-I, --head Show document info only-h, --help This help text--hostpubmd5 MD5 Hex encoded MD5 string of the host public key. (SSH)-0, --http1.0 Use HTTP 1.0 (H)--ignore-content-length Ignore the HTTP Content-Length header-i, --include Include protocol headers in the output (H/F)-k, --insecure Allow connections to SSL sites without certs (H)--interface INTERFACE Specify network interface/address to use-4, --ipv4 Resolve name to IPv4 address-6, --ipv6 Resolve name to IPv6 address-j, --junk-session-cookies Ignore session cookies read from file (H)--keepalive-time SECONDS Interval between keepalive probes--key KEY Private key file name (SSL/SSH)--key-type TYPE Private key file type (DER/PEM/ENG) (SSL)--krb LEVEL Enable Kerberos with specified security level (F)--libcurl FILE Dump libcurl equivalent code of this command line--limit-rate RATE Limit transfer speed to this rate-l, --list-only List only names of an FTP directory (F)--local-port RANGE Force use of these local port numbers-L, --location Follow redirects (H)--location-trusted like --location and send auth to other hosts (H)-M, --manual Display the full manual--mail-from FROM Mail from this address--mail-rcpt TO Mail to this receiver(s)--mail-auth AUTH Originator address of the original email--max-filesize BYTES Maximum file size to download (H/F)--max-redirs NUM Maximum number of redirects allowed (H)-m, --max-time SECONDS Maximum time allowed for the transfer--metalink Process given URLs as metalink XML file--negotiate Use HTTP Negotiate Authentication (H)-n, --netrc Must read .netrc for user name and password--netrc-optional Use either .netrc or URL; overrides -n--netrc-file FILE Set up the netrc filename to use-N, --no-buffer Disable buffering of the output stream--no-keepalive Disable keepalive use on the connection--no-sessionid Disable SSL session-ID reusing (SSL)--noproxy List of hosts which do not use proxy--ntlm Use HTTP NTLM authentication (H)-o, --output FILE Write output to <file> instead of stdout--pass PASS Pass phrase for the private key (SSL/SSH)--post301 Do not switch to GET after following a 301 redirect (H)--post302 Do not switch to GET after following a 302 redirect (H)--post303 Do not switch to GET after following a 303 redirect (H)-#, --progress-bar Display transfer progress as a progress bar--proto PROTOCOLS Enable/disable specified protocols--proto-redir PROTOCOLS Enable/disable specified protocols on redirect-x, --proxy [PROTOCOL://]HOST[:PORT] Use proxy on given port--proxy-anyauth Pick "any" proxy authentication method (H)--proxy-basic Use Basic authentication on the proxy (H)--proxy-digest Use Digest authentication on the proxy (H)--proxy-negotiate Use Negotiate authentication on the proxy (H)--proxy-ntlm Use NTLM authentication on the proxy (H)-U, --proxy-user USER[:PASSWORD] Proxy user and password--proxy1.0 HOST[:PORT] Use HTTP/1.0 proxy on given port-p, --proxytunnel Operate through a HTTP proxy tunnel (using CONNECT)--pubkey KEY Public key file name (SSH)-Q, --quote CMD Send command(s) to server before transfer (F/SFTP)--random-file FILE File for reading random data from (SSL)-r, --range RANGE Retrieve only the bytes within a range--raw Do HTTP "raw", without any transfer decoding (H)-e, --referer Referer URL (H)-J, --remote-header-name Use the header-provided filename (H)-O, --remote-name Write output to a file named as the remote file--remote-name-all Use the remote file name for all URLs-R, --remote-time Set the remote file's time on the local output-X, --request COMMAND Specify request command to use--resolve HOST:PORT:ADDRESS Force resolve of HOST:PORT to ADDRESS--retry NUM Retry request NUM times if transient problems occur--retry-delay SECONDS When retrying, wait this many seconds between each--retry-max-time SECONDS Retry only within this period-S, --show-error Show error. With -s, make curl show errors when they occur-s, --silent Silent mode. Don't output anything--socks4 HOST[:PORT] SOCKS4 proxy on given host + port--socks4a HOST[:PORT] SOCKS4a proxy on given host + port--socks5 HOST[:PORT] SOCKS5 proxy on given host + port--socks5-basic Enable username/password auth for SOCKS5 proxies--socks5-gssapi Enable GSS-API auth for SOCKS5 proxies--socks5-hostname HOST[:PORT] SOCKS5 proxy, pass host name to proxy--socks5-gssapi-service NAME SOCKS5 proxy service name for gssapi--socks5-gssapi-nec Compatibility with NEC SOCKS5 server-Y, --speed-limit RATE Stop transfers below speed-limit for 'speed-time' secs-y, --speed-time SECONDS Time for trig speed-limit abort. Defaults to 30--ssl Try SSL/TLS (FTP, IMAP, POP3, SMTP)--ssl-reqd Require SSL/TLS (FTP, IMAP, POP3, SMTP)-2, --sslv2 Use SSLv2 (SSL)-3, --sslv3 Use SSLv3 (SSL)--ssl-allow-beast Allow security flaw to improve interop (SSL)--stderr FILE Where to redirect stderr. - means stdout--tcp-nodelay Use the TCP_NODELAY option-t, --telnet-option OPT=VAL Set telnet option--tftp-blksize VALUE Set TFTP BLKSIZE option (must be >512)-z, --time-cond TIME Transfer based on a time condition-1, --tlsv1 Use => TLSv1 (SSL)--tlsv1.0 Use TLSv1.0 (SSL)--tlsv1.1 Use TLSv1.1 (SSL)--tlsv1.2 Use TLSv1.2 (SSL)--trace FILE Write a debug trace to the given file--trace-ascii FILE Like --trace but without the hex output--trace-time Add time stamps to trace/verbose output--tr-encoding Request compressed transfer encoding (H)-T, --upload-file FILE Transfer FILE to destination--url URL URL to work with-B, --use-ascii Use ASCII/text transfer-u, --user USER[:PASSWORD] Server user and password--tlsuser USER TLS username--tlspassword STRING TLS password--tlsauthtype STRING TLS authentication type (default SRP)--unix-socket FILE Connect through this UNIX domain socket-A, --user-agent STRING User-Agent to send to server (H)-v, --verbose Make the operation more talkative-V, --version Show version number and quit-w, --write-out FORMAT What to output after completion--xattr Store metadata in extended file attributes-q If used as the first parameter disables .curlrc
windows下的安装与使用curl实现命令行访问Web网站相关推荐
- Windows下RabbitMQ安装及注意事项
Windows下RabbitMQ安装及注意事项 简介 背景 1. RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现. Rabbit ...
- flume 1.7在windows下的安装与运行
flume 1.7在windows下的安装与运行 一.安装 安装java,配置环境变量. 安装flume,flume的官网http://flume.apache.org/,下载地址,下载后直接解压即可 ...
- Windows下MongoDB安装及创建用户名和密码
Windows下MongoDB安装及创建用户名和密码 下载MongoDB的安装文件https://www.mongodb.com/download-center#community,选择合适的版本(注 ...
- Windows下Wireshark安装版本选择方式
Windows下Wireshark安装版本选择方式 Wireshark版本分为1.X系列和2.X系列.1.X系列是早期版本,不提供中文版本.2.X系列是新版本,安装后,同时提供中文版和英文版.根据系统 ...
- python怎么安装pandas模块-windows下如何安装Python、pandas
windows下如何安装Python.pandas 本篇主要涵盖以下三部分内容: Python.Pycharm的安装 使用Pycharm创建.运行Python程序 安装pandas 1.Python. ...
- 【转帖】Windows下PostgreSQL安装图解
Windows下PostgreSQL安装图解 这篇文章主要为大家介绍了如果在Windows下安装PostgreSQL数据库的方法,需要的朋友可以参考下 现在谈起免费数据库,大多数人首先想到的可能是My ...
- memcache的windows下的安装和简单使用
原文:memcache的windows下的安装和简单使用 memcache是为了解决网站访问量大,数据库压力倍增的解决方案之一,由于其简单实用,很多站点现在都在使用memcache,但是memcach ...
- TensorFlow在windows 下的安装
前言:从2015年谷歌将tensorflow开源后,这位用于深度学习的强大神器便把Caffe,Keras,Torch7等这一票人全部干掉,github上的star和fork是一路飙升,几乎是它们的总和 ...
- :Windows下RabbitMQ安装及入门
1.Windows下安装RabbitMQ需要以下几个步骤 (1):下载erlang,原因在于RabbitMQ服务端代码是使用并发式语言erlang编写的,下载地址:http://www.erlang. ...
最新文章
- WinForm应用只运行一次
- Spring boot配置Servlet容器
- [云炬创业基础笔记] 第四章测试12
- 话里话外:成功的ERP需要全程的流程变革(三)
- android超级管理员权限作用,Android获取超级管理员权限的实现
- 网管囧事系列二:又要杀毒,又要防***,网管怎样三头六臂?
- MYSQL创建、删除、修改索引语法
- 理财非保本浮动收益型什么意思?
- Linux常见问题三则:Executable Path Is Not Absolute
- 集成电路技术与产业发展
- ueditor java_编辑器ueditor1.4.3 JAVA环境使用
- 8uftp服务器用户名密码,8uftp怎么用,8uftp怎么用,详细介绍8uftp的用法
- python opencv 获取图片清晰度
- win7计算机锁频图片怎么设置,Win7电脑锁屏壁纸怎么设置?Win7系统设置锁屏壁纸的方法...
- html5游戏 搭积木,搭积木游戏
- python建站部署_2个Python学习网站制作教程
- 【前端——Node.js】:Express、数据库与身份认证
- MarkdownPad
- 计算机打印预览在哪,excel打印在哪里,EXCEL怎么退出成打印预览的画面
- MongoDB之查询文档
热门文章
- [COCI2011-2012#7] KAMPANJA
- VS2013 未找到与約束ContractName
- 视图自己定义旋转动画 相似百度音乐
- android studio的 gradle 依赖同步错误解决方法
- 3DMAX安装失败怎样卸载重新安装3DMAX,解决3DMAX安装失败的方法总结
- MVC中如何实现本地化的解决方案
- 解决输入框自动填充账号密码的问题
- sql server 对象名无效的解决方法
- 德勤元宇宙综观:愿景、技术和应对
- wangeditor 请求头_跨域上传 · wangEditor2使用手册 · 看云