查询网站使用什么web服务器
linux curl是通过url语法在命令行下上传或下载文件的工具软件,它支持http,https,ftp,ftps,telnet等多种协议,常被用来抓取网页和监控Web服务器状态。一、Linux curl用法举例:1. linux curl抓取网页:抓取百度: curl http://www.baidu.com 如发现乱码,可以使用iconv转码 curl http://iframe.ip138.com/ic.asp|iconv -fgb2312iconv的用法请参阅:在Linux/Unix系统下用iconv命令处理文本文件中文乱码问题2. Linux curl使用代理:linux curl使用http代理抓取页面: curl -x 111.95.243.36:80 http://iframe.ip138.com/ic.asp|iconv -fgb2312curl -x 111.95.243.36:80 -U aiezu:password http://www.baidu.com 使用socks代理抓取页面: curl --socks4 202.113.65.229:443 http://iframe.ip138.com/ic.asp|iconv -fgb2312curl --socks5 202.113.65.229:443 http://iframe.ip138.com/ic.asp|iconv -fgb2312 代理服务器地址可以从爬虫代理上获取。3. linux curl处理cookies接收cookies: curl -c /tmp/cookies http://www.baidu.com #cookies保存到/tmp/cookies文件 发送cookies: curl -b "key1=val1;key2=val2;" http://www.baidu.com #发送cookies文本curl -b /tmp/cookies http://www.baidu.com #从文件中读取cookies4. linux curl发送数据:linux curl get方式提交数据: curl -G -d "name=value&name2=value2" http://www.baidu.com linux curl post方式提交数据: curl -d "name=value&name2=value2" http://www.baidu.com #post数据curl -d a=b&c=d&txt@/tmp/txt http://www.baidu.com #post文件 以表单的方式上传文件: curl -F file=@/tmp/me.txt http://www.aiezu.com 相当于设置form表单的method="POST"和enctype='multipart/form-data'两个属性。5. linux curl http header处理:设置http请求头信息: curl -A "Mozilla/5.0 Firefox/21.0" http://www.baidu.com #设置http请求头User-Agentcurl -e "http://pachong.org/" http://www.baidu.com #设置http请求头Referercurl -H "Connection:keep-alive \n User-Agent: Mozilla/5.0" http://www.aiezu.com设置http响应头处理: curl -I http://www.aiezu.com #仅仅返回headercurl -D /tmp/header http://www.aiezu.com #将http header保存到/tmp/header文件6. linux curl认证: curl -u aiezu:password http://www.aiezu.com #用户名密码认证curl -E mycert.pem https://www.baidu.com #采用证书认证6. 其他:curl -# http://www.baidu.com #以“#”号输出进度条curl -o /tmp/aiezu http://www.baidu.com #保存http响应到/tmp/aiezulinux 使用curl小经验教训: http请求地址的url要使用""括起来。当有存在多个参数使用&连接时可能会出错。
转载于:https://blog.51cto.com/quyong/1866990
查询网站使用什么web服务器相关推荐
- nas服务器改成网站,nas配置web服务器
nas配置web服务器 内容精选 换一换 华为云帮助中心,为用户提供产品简介.价格说明.购买指南.用户指南.API参考.最佳实践.常见问题.视频帮助等技术文档,帮助您快速上手使用华为云服务. 云耀云服 ...
- iis服务器的网站日志,IIS web服务器访问日志
用户每打开一次网页,iis 都会记录用户IP.访问的网页地址.访问时间.访问状态等信息,这些信息保存在 iis日志文件里,方便网站管理员掌握网页被访问情况和 iis 服务器运行情况.如果网页被恶意访问 ...
- Linux下Apache Web服务器的安装与配置
1.Apache Web服务器简述 Web服务是目前Internet应用最流行.最受欢迎的服务之一,Linux平台使用最广泛的Web服务器是Apache,它是目前性能最优秀.最稳定的Web服务 ...
- 主流web服务器介绍
前言: 转载请标明出处. 本文主要描述几种主流web服务器的功能介绍,对网上资料进行一些整理,同时加入部分自己理解,以便在不同的场景下,选择不同的web服务器. 本文结构分为基本概念.主流web服务器 ...
- 20步打造最安全的Nginx Web服务器
Nginx是一个轻量级的,高性能的Web服务器以及反向代理和邮箱(IMAP/POP3)代理服务器.它运行在UNIX,GNU/Linux,BSD各种版本,Mac OS X,Solaris和Windows ...
- 5月Web服务器份额:Microsoft亚军 份额涨1.05%
IDC评述网(idcps.com)05月25日报道:近日,Netcraft公布了全球Web服务器最新数据.根据显示,在5月份Netcraft调查统计全球网站数量达857,927,160家,较上月增加1 ...
- 利用自己的电脑设置web服务器建网站_win7系统篇,win7系统利用iis搭建web服务器实现信息浏览资源共享的操作方法...
很多小伙伴都遇到过对win7系统利用iis搭建web服务器实现信息浏览资源共享进行设置的困惑吧,一些朋友看过网上对win7系统利用iis搭建web服务器实现信息浏览资源共享设置的零散处理方法,并没有完 ...
- 自己动手写web服务器一(浏览器的访问信息)
要协议一个web服务器,需要了解http协议,下面我们来看一下当浏览器请求网张的时候向web服务器发送的数据,我使用的是ubuntu 中telent展现一个下过程.我需要一个简单的网站来演示一下,我装 ...
- 1月份Web服务器份额:Microsoft涨2.32%居亚
IDC评述网(idcps.com)01月28日报道:近日,Netcraft公布了全球Web服务器最新数据.根据显示,2016年1月,Netcraft调查统计了全球906,616,188家网站,较去年1 ...
最新文章
- python计时函数_python计时函数
- 修改Ubuntu的aptget源为阿里源的方法
- 10 个强大的 Apache 模块
- 排序方法分析与代码实现
- php怎么去除变量里的换行,php去除字符串换行符示例分享
- REVIT模型之机器人瓦力
- 并行开发 —— 第三篇 plinq的使用
- php xmlreader 读xml,PHP中使用xmlreader读取xml数据示例
- spring事务浅析
- mysql主从注意事项_mysql主从复制亲测,以及注意事项
- LeetCode 914. 卡牌分组
- vc++.net 移植到 C#中的几点注意事项
- 矩池云利用ipykernel为JupyterLab添加kernel以及展示出来
- springMVC中ajax的实现
- mySQL中replace的用法
- Universal Radio Hacker(URH):一个用于逆向解析和攻击无线通信协议的开源工具
- c++priority_queue详解
- android热成像模块,Thermal Camera
- CAD绘制粗略的示坡线
- 度小满启动“小微加油站”,让低息服务可持续