C# 代理HTTP请求

目的：应该有不少人需要去某些网站不停爬取数据，有时会使用HTTPRequest一直请求某个网站的某个网址。有的网站比如 QQ空间，赶集网(这是我测试的网站)，不停刷新会提醒你的账号异常，可能会查封你几天禁止访问该网站。我想为了网站的安全，大多大型网站都会有这样一个措施。

但是，有些工作的确需要抓取这些特定页面上的数据？如何做？

答案是使用代理ip访问这些网址

在C#中怎么使用？？？

直接贴一下代码

代理ip网上一搜一大把，这个你可以自己去这个网站上抓取，这样就可以测试哪些ip能用，哪些ip已经不能使用了

WebProxy proxyObject = new WebProxy(str, port);//str为IP地址 port为端口号代理类
HttpWebRequest Req = (HttpWebRequest)WebRequest.Create("http://www.whatismyip.com.tw"); // 访问这个网站，返回的就是你发出请求的代理ip 这个做代理ip测试非常方便，可以知道代理是否成功

//HttpWebRequest Req = (HttpWebRequest)WebRequest.Create("http://www.baidu.com"); // 61.183.192.5
Req.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; QQWubi 133; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; CIBA; InfoPath.2)";
Req.Proxy = proxyObject; //设置代理
Req.Method = "GET";
HttpWebResponse Resp = (HttpWebResponse)Req.GetResponse();
string StringSub = "";
string OkStr = "";
Encoding code = Encoding.GetEncoding("UTF-8");
using (StreamReader sr = new StreamReader(Resp.GetResponseStream(), code))
{

str = sr.ReadToEnd();//获取得到的网址html返回数据，这里就可以使用某些解析html的dll直接使用了,比如htmlpaser

}

C# 代理HTTP请求相关推荐

HTTP代理实现请求报文的拦截与篡改2--功能介绍+源码下载
返回目录思路有了,下面就是来实现它了,在这里,我们采用我们熟悉的C#来实现,C#下有一个完整的WEB DEBUGGER(含代理服务器方式实现的HTTP请求拦截与篡改功能)的实现--Fiddler,F ...
阿里云服务器安装并配置nginx代理转发请求
阿里云服务器安装并配置nginx代理转发请求下载nginx安装包,或者上传nginx安装包,此处我用的是Xmanager工具从本地上传了一个nginx安装包. 安装依赖库 yum -y instal ...
Fiddler（五）设置代理 HTTPS 请求
Fiddler(五)设置代理 HTTPS 请求 HTTPS 介绍 Fiddler设置HTTPS代理 HTTPS 介绍 HTTPS(全称:Hyper Text Transfer Protocol ove ...
Java HttpClient 如何使用代理IP请求接口
实际场景中,可能会遇到需要使用代理IP请求接口的需求,所以这里给大家分享一下如何通过代理IP请求接口. proxyServer 代理IP proxyPort 代理端口 HttpClient httpC ...
Maven构建Java使用代理，请求API接口
Maven构建Java使用代理,请求API接口提示:代理请求访问,请合法使用,谢谢环境: Maven:Maven官网 HuTool:HuTool官网 Java8: Java官网-Oracle Id ...
Nginx正向代理https请求
默认开源版本的nginx是不支持代理https请求的,如果要实现这个功能,需要第三方模块 https://github.com/chobits/ngx_http_proxy_connect_modul ...
Nginx代理导致请求头某些内容丢失
nginx代理导致请求头header中的信息丢失问题描述:在请求时往请求头header中放入了token-api信息,在接收请求时再从header中拿出,在本地调试时是可以的,但通过NGINX代理之 ...
jmeter设置代理录制请求
用了一段时间的jmeter感觉比LR方便很多,界面也比较简洁,开源免费,配置环境也方便,LR简直没法比,但唯一的是功能没有LR强大,毕竟是免费的,要求别那么高. 下面开始进入正题,配置环境和下载就不多 ...
nginx请求转发被拒绝_nginx反向代理（请求转发-URL匹配规则）
反向代理适用于很多场合,负载均衡是最普遍的用法. nginx 作为目前最流行的web服务器之一,可以很方便地实现反向代理. 当在一台主机上部署了多个不同的web服务器,并且需要能在80端口同时访问这些 ...

C# 代理HTTP请求

C# 代理HTTP请求相关推荐

最新文章

热门文章