C#抓取网页HTML内容

using System;

using System.Collections.Generic;

using System.Linq;

using System.Web;

using System.Net;

using System.Text;

using System.IO;

using System.Text.RegularExpressions;

namespace Web

{

/// <summary>

/// 公共方法类

/// </summary>

public class WebHandler

{

/// <summary>

/// 获取网页的HTML码

/// </summary>

/// <param name="url">链接地址</param>

/// <param name="encoding">编码类型</param>

/// <returns></returns>

public static string GetHtmlStr(string url, string encoding)

{

string htmlStr = "";

try

{

if (!String.IsNullOrEmpty(url))

{

WebRequest request = WebRequest.Create(url); //实例化WebRequest对象

WebResponse response = request.GetResponse(); //创建WebResponse对象

Stream datastream = response.GetResponseStream(); //创建流对象

Encoding ec = Encoding.Default;

if (encoding == "UTF8")

{

ec = Encoding.UTF8;

}

else if (encoding == "Default")

{

ec = Encoding.Default;

}

StreamReader reader = new StreamReader(datastream, ec);

htmlStr = reader.ReadToEnd(); //读取网页内容

reader.Close();

datastream.Close();

response.Close();

}

catch { }

return htmlStr;

}

C#抓取网页HTML内容相关推荐

python爬虫搜特定内容的论文_python基于BeautifulSoup实现抓取网页指定内容的方法...
python基于BeautifulSoup实现抓取网页指定内容的方法更新时间:2015年07月09日 10:12:50 作者:光索与诺这篇文章主要介绍了python基于BeautifulSoup实 ...
python抓取html中特定的数据库,Python抓取网页中内容，正则分析后存入mysql数据库...
firefox+httpfox可以查看post表单首先在http://www.renren.com/这个地址输入用户名和密码, 输入用户名和密码之后post到下面这个网址: http://www.r ...
java抓取网页标题内容_[Java教程]java 网页页面抓取标题和正文
[Java教程]java 网页页面抓取标题和正文 0 2014-07-10 09:01:30 import java.io.BufferedReader;import java.io.IOExcept ...
java使用爬虫工具jsoup实现抓取网页的内容及图片并写入到word文档中
背景: 有个朋友最近让帮忙写个小功能,需求大概是,1万个链接,让爬每个链接中的某一段文章并附一张图片,每五个链接写入到一个word文档中. 基本思路,就是先去找个爬虫框架把链接网页中内容和图片写到wo ...
PHP：抓取网页指定内容
效果图代码 <?php $url = "http://要抓取的网页"; $contents = file_get_contents($url); //如果出现中文乱码使用下 ...
php正则抓取网页指定内容,php正则匹配获取指定url网页页面超级链接地址与抓取指定页面内容方法...
在数据采集与页面分析中,常需要抓取给定url页面的内容,或者第二.第三层次深度页面内容. 这里是一个测试例子的实现,仅供参考. /* 匹配给定页面链接 return:array match[link, ...
PHP抓取网页指定内容（推荐用CURL效率更高）
PHP抓取某页面指定内容初学php研究了好几个小时最后问了同事,得以解决:下面我就以我网站的一个详情页为例子,给大家分享一下: 直接贴代码,注释写的很清楚了 [方法一] <?php //添加编 ...
爬虫-演练-GET请求抓取网页的内容
目标站点待定操作流程待定
python中模拟浏览器抓取网页（-）
对于平时我们抓取网页的内容时,比较倾向于直接利用urllib进行抓取(这里我就基于python的2.7版本进行解说,对于python3之后的版本,是将python中的urllib和urllib2和并成 ...

C#抓取网页HTML内容

C#抓取网页HTML内容相关推荐

最新文章

热门文章