鉴客 C# 抓取页面（带认证）

1. [代码][C#]代码

`01`	`HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create("");`

`02`	`req.UserAgent =` `"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.0.3705;)";`

`03`	`req.Method =` `"POST";`

`04`	`req.Accept =` `"text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8";`

`05`	`req.Headers.Add("Accept-Language: en-us,en;q=0.5");`

`06`	`req.Headers.Add("Accept-Encoding: gzip,deflate");`

`07`	`req.Headers.Add("Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7");`

`08`	`req.KeepAlive =` `true;`

`09`	`req.Headers.Add("Keep-Alive: 300");`

`10`	`req.Referer =` `"copy from url";`

11

`12`	`req.ContentType =` `"application/x-www-form-urlencoded";`

13

`14`	`String Username = copy from url;`

`15`	`String PassWord = copy from url;`

16

`17`	`StreamWriter sw =` `new` `StreamWriter(req.GetRequestStream());`

`18`	`sw.Write(string.Format("&loginname={0}&password={1}&btnSubmit=Log In&institutioncode=H4V9KLUT45AV&version=2", Username, PassWord));`

`19`	`sw.Close();`

`20`	`HttpWebResponse response = (HttpWebResponse)req.GetResponse();`

21

`22`	`StreamReader reader =` `new` `StreamReader(response.GetResponseStream());`

`23`	`string` `tmp = reader.ReadToEnd();`

2. [代码]Cookie 处理跳至 [1] [2] [全屏预览]

view sourceprint?

`01`	`CookieCollection cookiesResponse =` `new` `CookieCollection();`

02

`03`	`if` `(response !=` `null)`

04 {

`05`	`foreach` `(string` `cookie` `in` `response.Headers["Set-Cookie"].Split(';'))`

06 {

`07`	`string` `name = cookie.Split('=')[0];`

`08`	`string` `value = cookie.Substring(name.Length + 1);`

`09`	`cookiesResponse.Add(new` `Cookie(name.Trim(), value.Trim(), path, domain));`

10 }

11 }

转载于:https://www.cnblogs.com/xuxiaoshuan/p/3628945.html

鉴客 C# 抓取页面（带认证）相关推荐

jquery页面跳转带cookie_搭建谷歌浏览器无头模式抓取页面服务，laravelgt;phpgt;pythongt;docker...
背景: 公司管理系统需要获取企业微信页面的配置参数如企业名.logo.人数等信息并操作,来隐藏相关敏感信息并自定义简化企业号配置流程第一版已经实现了扫码登录获取cookie,使用该cookie就能获 ...
爬虫抓取页面数据原理（php爬虫框架有很多）
爬虫抓取页面数据原理(php爬虫框架有很多 ) 一.总结 1.php爬虫框架有很多,包括很多傻瓜式的软件 2.照以前写过java爬虫的例子来看,真的非常简单,就是一个获取网页数据的类或者方法(这里的话 ...
【php】curl模拟登录抓取页面信息
[php]curl模拟登录抓取页面信息在本项目中,使用php抓取四川大学综合教务网站的成绩信息.课程信息以及登录用户的基本资料,解析数据并存入数据库,以实现对所得信息的进一步分析,并呈现给用户. 本 ...
apache httpclient 工具类_Java教程分享使用HttpClient抓取页面内容
Java教程分享使用HttpClient抓取页面内容,使用HttpClient工具来发送Http请求 1.简介 HttpClient 是 Apache Jakarta Common 下的子项目,用来提 ...
抓取百度页面html,百度会抓取页面代码中的注释内容吗
百度会抓取页面代码中的注释内容吗内容导读:百度会抓取页面代码中的注释内容吗?答案是百度会抓取,但是在提取正文的时候会直接忽略掉,也就是说页面代码的注释内容不会影响到页面质量,所以大家尽管放心. 问题 ...
CasperJS基于PhantomJS抓取页面
CasperJS基于PhantomJS抓取页面 Casperjs是基于Phantomjs的,而Phantom JS是一个服务器端的 JavaScript API 的 WebKit. CasperJS是 ...
java response 获得code_Java教程分享使用HttpClient抓取页面内容
Java教程分享使用HttpClient抓取页面内容,使用HttpClient工具来发送Http请求 1.简介 HttpClient 是 Apache Jakarta Common 下的子项目,用来提 ...
PHP利用正则表达式抓取页面数据
PHP利用正则表达式抓取页面数据 (记录一下,00后程序员第一天写博客,2021/4/1) (抓取招头标网站中的数据) <?php header('Content-Type:text/html; ...
selenium抓取页面可用元素css
/** 自动生成页面*/ // 汉字转拼音 function Pinyin(l1) {var PinYin = {"a":"\u554a\u963f\u9515" ...
php登录页面后抓取页面内容,PHP模拟登陆抓取页面内容
平时开发中经常会遇到抓取某个页面内容, 但是有时候某些页面需要登陆才能访问, 最常见的就是论坛, 这时候我们需要来使用curl模拟登陆. 大致思路:需要先请求提取 cookies 并保存,然后利用保存 ...

鉴客 C# 抓取页面（带认证）

1. [代码][C#]代码

2. [代码]Cookie 处理跳至 [1] [2] [全屏预览]

鉴客 C# 抓取页面（带认证）相关推荐

最新文章

热门文章

鉴客 C# 抓取页面（带认证）

1. [代码][C#]代码

2. [代码]Cookie 处理 跳至 [1] [2] [全屏预览]

鉴客 C# 抓取页面（带认证）相关推荐

最新文章

热门文章

2. [代码]Cookie 处理跳至 [1] [2] [全屏预览]