ASP.NET抓取网页内容
一、ASP.NET 使用HttpWebRequest抓取网页内容
这种方式抓取某些页面会失败
不过,有时候我们会发现,这个程序在抓取某些页面时,是获不到所需的内容的,有时候甚至返回404的错误提示页,这是什么原因呢?
其实,很多人都忽略了一个问题,那就是服务器默认的浏览器问题。有的服务器默认的浏览器是手机浏览器,那么,当我抓取这个服务器下的网页是,就相当于用手机浏览器来打开网页,而如果要抓取的目标网页没有相应的手机网页的话,就会返回意想不到的结果,有的返回404错误提示页,有的返回403错误提示页,有的甚至跳转到其他网页去了。
如何解决这个问题?
要解决这个问题,其实很简单,我们只需要在程序里指定使用的浏览器的即可,即是设置UserAgent的参数值。
完整代码:
/// <summary>方法一:比较推荐 /// 用HttpWebRequest取得网页源码 /// 对于带BOM的网页很有效,不管是什么编码都能正确识别 /// </summary> /// <param name="url">网页地址" </param> /// <returns>返回网页源文件</returns> public static string GetHtmlSource2(string url) { //处理内容 string html = ""; HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); request.Accept = "*/*"; //接受任意文件 request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)"; // request.AllowAutoRedirect = true;//是否允许302 //request.CookieContainer = new CookieContainer();//cookie容器, request.Referer = url; //当前页面的引用 HttpWebResponse response = (HttpWebResponse)request.GetResponse(); Stream stream = response.GetResponseStream(); StreamReader reader = new StreamReader(stream, Encoding.Default); html = reader.ReadToEnd(); stream.Close(); return html; }
二、ASP.NET 使用 WebResponse 抓取网页内容
public static string GetHttpData2(string Url) { string sException = null; string sRslt = null; WebResponse oWebRps = null; WebRequest oWebRqst = WebRequest.Create(Url); oWebRqst.Timeout = 50000; try { oWebRps = oWebRqst.GetResponse(); } catch (WebException e) { sException = e.Message.ToString(); } catch (Exception e) { sException = e.ToString(); } finally { if (oWebRps != null) { StreamReader oStreamRd = new StreamReader(oWebRps.GetResponseStream(), Encoding.GetEncoding("utf-8")); sRslt = oStreamRd.ReadToEnd(); oStreamRd.Close(); oWebRps.Close(); } } return sRslt; }
三、ASP.NET 使用 WebClient 抓取网页内容
/// <param name="url">/要访问的网站地址</param> /// <param name="charSets">目标网页的编码,如果传入的是null或者"",那就自动分析网页的编码</param> /// <returns></returns> public static string getHtml(string url, params string[] charSets) { try { string charSet = null; if (charSets.Length == 1) { charSet = charSets[0]; } WebClient myWebClient = new WebClient(); //创建WebClient实例myWebClient // 需要注意的: //有的网页可能下不下来,有种种原因比如需要cookie,编码问题等等 //这是就要具体问题具体分析比如在头部加入cookie // webclient.Headers.Add("Cookie", cookie); //这样可能需要一些重载方法.根据需要写就可以了 //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据. myWebClient.Credentials = CredentialCache.DefaultCredentials; //如果服务器要验证用户名,密码 //NetworkCredential mycred = new NetworkCredential(struser, strpassword); //myWebClient.Credentials = mycred; //从资源下载数据并返回字节数组.(加@是因为网址中间有"/"符号) byte[] myDataBuffer = myWebClient.DownloadData(url); string strWebData = Encoding.Default.GetString(myDataBuffer); //获取网页字符编码描述信息 Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)", RegexOptions.IgnoreCase | RegexOptions.Multiline); string webCharSet = charSetMatch.Groups[2].Value; if (charSet == null || charSet == "") charSet = webCharSet; if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default) { strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer); } else { strWebData = Encoding.GetEncoding("utf-8").GetString(myDataBuffer); } return strWebData; } catch (Exception e) { return ""; } }
ASP.NET抓取网页内容相关推荐
- ASP.NET 抓取网页内容
(转)ASP.NET 抓取网页内容 ASP.NET 抓取网页内容-文字 ASP.NET 中抓取网页内容是非常方便的,而其中更是解决了 ASP 中困扰我们的编码问题. 需要三个类:WebRequest. ...
- Asp.Net 之 抓取网页内容
一.获取网页内容--html ASP.NET 中抓取网页内容是非常方便的,而其中更是解决了 ASP 中困扰我们的编码问题. 需要三个类:WebRequest.WebResponse.StreamRea ...
- java socket抓取资源_Java 通过 Socket 的形式抓取网页内容
package com.hmw.net; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.IO ...
- python beautifulsoup抓取网页内容_利用Python和Beautiful Soup抓取网页内容
利用Python和Beautiful Soup抓取网页内容 Posted on 2012-08-09 00:08 SamWei 阅读(381) 评论(1) 编辑 收藏 Python 3中提供了url打 ...
- php 抓取页面图片,php 抓取网页内容与图片的方法
这篇文章主要介绍了关于php 抓取网页内容与图片的方法,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下 例子1:<?php include_once("curl.php& ...
- php 抓取网页内容与图片
例子1: <?phpinclude_once("curl.php");/*这个文件要自己配置好*/header("content-type:text/html;ch ...
- java 抓取网页内容小工具
之超同志今天问我会不会抓网页的内容,然后把一些表格整理成excel. 好吧,我是不会的,但是我想试试,结果还是可行的. 先说说他的需求吧,他需要把http://www.zjex.com.cn/view ...
- php抓取网页内容,获取网页数据
php通过simple_html_dom实现抓取网页内容,获取核心网页数据,将网页数据写入本地 xxx.json 文件 其代码实现逻辑: 1. 引入simple_html_dom.php文件 requ ...
- php抓取网页内容实例,详解php中抓取网页内容的实例
php中抓取网页内容的实例详解 方法一: 使用file_get_contents方法实现$url = "http://news.sina.com.cn/c/nd/2016-10-23/doc ...
最新文章
- Linux从mysql中读取数据_linux shell中读写操作mysql数据库
- python3 循环语句
- 如何构建一个分布式爬虫:理论篇
- EasyUI datagrid : 启用行号、固定列及多级表头后,头部行号位置单元格错位的问题...
- KDD2021 | USCB:展示广告约束出价问题的通用解决方案
- 387. First Unique Character in a String QuestionEditorial Solution
- StyleGAN进化过程详解
- Linux内核入门(七)—— 必要的编译知识
- 要开始算法了 什么顺序呢?
- Linux虚拟机上的Scala安装
- 阿里巴巴校招笔试题整理
- plc的毕业设计冷门题目_PLC毕业设计----PLC毕业设计题目汇总
- springboot中使用actuator进行监控
- ESR-CMDS参数含义
- Revit空闲事件(Idling Event)增强和外部事件(External Event)
- iOS之券商唯品会接入总结
- AJAX与JavaScript脚本语言
- 3.ARMv7-M exception model(1)
- Splay树各操作--数组
- 关于在caddy环境下,使用https协议UC无法下载的解决方法。
热门文章
- Angular Model
- 7-11 分段计算居民水费 (10 分)
- 7-33 出生年 (15 分)
- 利用阈值分割原理,对给定图像编程实现二值、反二值、截断、反截断、大津阈值、自适应阈值等类型阈值图像分割,给出实现源码和结果图像。
- java中怎么从键盘读取字符_java键盘读取字符
- 计算机论文写作提纲怎么写,信息技术论文提纲写作示例
- body curl命令测试post_HTTP接口调试利器!4.8万Star的HTTP命令行客户端!
- 【Unity与23种设计模式】访问者模式(Visitor)
- js 操作table: insertRow(),deleteRow(),insertCell(),deleteCell()方法
- Codeforces 295A. Greg and Array