HtmlAgilityPack
一个解析html的C#类库HtmlAgilityPack,
今天终于有时间整理一下,并把Demo分享一下。
HtmlAgilityPack是一个基于.Net的、第三方免费开源的微型类库,主要用于在服务器端解析html文档(在B/S结构的程序中客户端可以用Javascript、jquery解析html)。截止到本文发表时,HtmlAgilityPack的最新版本为 1.4.6。下载地址:http://htmlagilitypack.codeplex.com/。最新版本支持Linq to Objects ( LINQ to Xml ).
准备:
如果你有安装Nuget的话,可以直接查找安装即可。
下载后解压缩后有3个文件,这里只需要将其中的HtmlAgilityPack.dll(程序集)、HtmlAgilityPack.xml(文档,用于Visual Studio 2008中代码智能提示和帮助说明之用)引入解决方案中即可使用,无需安装任何东西,非常好用。
在C#类文件开头引入using HtmlAgilityPack;就可以使用该命名空间下的类型了。实际使用中,几乎都是以HtmlDocument类为主线的,这一点非常类似于微软.net framework中的XmlDocument类。XmlDocument类是操作的是xml文档,而HtmlDocument类操作的是html文档(其实也可以操作xml文档),它们的操作方式都是基于Dom,所不同的是后者取消了诸如GetElementsByTagName这样的方法,强化了GetElementById方法(在HtmlDocument中可以直接使用,而XmlDocument则不可以)。
HtmlAgilityPack中定位节点基本上都用Xpath表达式,Xpath表达式的参考文档可见:http://www.w3school.com.cn/xpath/xpath_syntax.asp。自行学习。
不过可以先用几个简单就可以。比如,我们用到最多可能就是针对某个元素(div)、或者某个class属性的div、或者某个id的div,或者以什么开头的div,
类似这样的Xpath还是比较简单的。
Xpath举几个例子,下面的代码中我们就会用到:
"//comment()"在XPath中表示“所有注释节点” 1、获取网页title:doc.DocumentNode.SelectSingleNode("//title").InnerText; 2、获取所有的超链接:doc.DocumentNode.Descendants("a") 3、获取name为kw的input,也就是相当于getElementsByName(): 解释:"//input[@name='kw']"也是XPath的语法,表示:name属性等于kw的input标签。 //li/h3/a[@href]:所有li下面的h3包含a超级链接有href属性才符合。有的a可能是支持的js事件 //div[starts-with(@class,'content_single')]:所有符合条件的div,并且它的class是由字符串content_single 开头的。 |
//标示获取documet下的所有符合条件。/div标示从根目录开始的符合条件的。
以上是准备工作。下面说一下HtmlAgilityPack读取web页面,并解析的方法步骤。
1.读取url:
HtmlAgilityPack.HtmlWeb hw = new HtmlAgilityPack.HtmlWeb(); HtmlAgilityPack.HtmlDocument doccc = hw.Load(url);//是你需要解析的url ArrayList ImagePtahs = GetHrefs(doccc); |
这里可能会遇到2个问题。
一个是编码问题,一个是gzip不支持的问题。
首先编码问题解决办法:就是不用HtmlAgilityPack去获取Url的data数据,自己获取了。大家可能就问了:我自己获取了他不给我解析那?
没事,他不会那么笨的。谁的肉不是吃啊?
方法如下:
WebProxy proxyObject = new WebProxy(IP, port);//这里我是用的代理。 //向指定地址发送请求 HttpWebRequest HttpWReq = (HttpWebRequest)WebRequest.Create(url); HttpWReq.Proxy = proxyObject; HttpWReq.Timeout = 10000; HttpWebResponse HttpWResp = (HttpWebResponse)HttpWReq.GetResponse(); StreamReader sr = new StreamReader(HttpWResp.GetResponseStream(), System.Text.Encoding.GetEncoding("UTF-8")); //注意上面的编码了吗?? HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument(); doc.Load(sr); int res = CheckIsGoodProxy(doc); //这是我解析的函数,还没到那一步。不解释了。 sr.Close(); HttpWResp.Close(); HttpWReq.Abort(); |
另一个问题就是很奇怪了。gzip的问题开启了gzip压缩的网页请求时会报错。报错信息为“gzip”不是受支持的编码名。
在谷歌上搜索了半天,终于找到解决方案,而且不必更换HttpRequest或WebClient进行请求。同时还可以用此方法设置cookie,render伪装等等。。。
解决后代码如下:在你发起请求的是修改一下。
HtmlWeb webClient = new HtmlWeb(); HtmlAgilityPack.HtmlWeb.PreRequestHandler handler = delegate(HttpWebRequest request) { request.Headers[HttpRequestHeader.AcceptEncoding] = "gzip, deflate"; request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip; request.CookieContainer = new System.Net.CookieContainer(); return true; }; webClient.PreRequest += handler; HtmlDocument doc = webClient.Load(this.getUrl()); |
可能最新版本的HtmlAgilityPack会修复这个问题吧。期待中。
2.用Xpath解析。
这一步就比较简单了。就用Xpath选出你想要的数据,遍历他们,取出他们的value即可。
实例代码:
private ArrayList GetHrefs(HtmlAgilityPack.HtmlDocument _doc) { try { Images = new ArrayList(); HtmlNodeCollection hrefs = _doc.DocumentNode.SelectNodes("//li/h3/a[@href]"); HtmlNodeCollection hrefs2 = _doc.DocumentNode.SelectNodes("//div[starts-with(@class,'content_single')]"); if (hrefs == null) return new ArrayList(); foreach (HtmlNode href in hrefs) { // Images.Add(href.Attributes["src"].Value); string hreff = href.Attributes["href"].Value;// 排除 博海拾贝第二百零二期】吃完薯条寂寞了 string title = href.Attributes["title"].Value; if (title.IndexOf("邪恶") >= 0) { continue; } if (title.IndexOf("恶搞") >= 0) { continue; } if (title.IndexOf("雷人") >= 0) { continue; } ///执行数据保存的逻辑 } } catch (Exception ex) { ShowLogMsg("出错了:"+ex.Message+ex.StackTrace); return new ArrayList(); } } |
每一个Htmlnode,你要获取他的数据用这个方法: img.Attributes["src"].Value
整个过程就是这样的简单。大家有不明白或者有问题可以留言交流。
HtmlAgilityPack相关推荐
- HtmlAgilityPack 处理通配的contains
//选择不包含class属性的节点 var result = node.SelectNodes(".//span[not(@class)]"); //选择不包含class和id属性 ...
- [翻译]使用HtmlAgilityPack更好的HTML分析和验证
让我们面对它,有时候,当您正在编写自定义的提取和验证规则时Microsoft.VisualStudio.TestTools.WebTesting.HtmlDocument 类不会剪切它.HtmlDoc ...
- HtmlAgilityPack 总结(一)
一个解析html的C#类库HtmlAgilityPack, HtmlAgilityPack是一个基于.Net的.第三方免费开源的微型类库,主要用于在服务器端解析html文档(在B/S结构的程序中客户端 ...
- 2012-09-10 23:30 如何解决HtmlAgilityPack得到的InnerText中有残留的script、样式的问题...
那么如何解决HtmlAgilityPack得到的InnerText中有残留的script.样式的问题呢,在google上搜索"HtmlAgilityPack script innerText ...
- 向HtmlAgilityPack道歉:解析HTML还是你好用
原文:http://www.cnblogs.com/rupeng/archive/2012/02/07/2342012.html 去年写过一篇文章<解析HTML最好的类还是微软自己的>,回 ...
- C#网页数据采集(一)HtmlAgilityPack
HtmlAgilityPack是.NET下的一个HTML解析类库.支持用XPath来解析HTML.命名空间:HtmlAgilityPack HtmlWeb webClient = new HtmlWe ...
- HtmlAgilityPack 抓取页面的乱码处理
HtmlAgilityPack 抓取页面的乱码处理 用来解析 HTML 确实方便.不过直接读取网页时会出现乱码. 实际上,它是能正确读到有关字符集的信息,怎么会在输出时,没有取到正确内容. 因此,读两 ...
- HtmlAgilityPack 之 HtmlNode类
HtmlAgilityPack中的HtmlNode类与XmlNode类差不多,提供的功能也大同小异.下面来看看该类提供功能. 一.静态属性 public static Dictionary<st ...
- HTML解析利器HtmlAgilityPack
在以前的项目中周公曾有解析HTML的情况,当时是采用正则表达式一步步将无关的HTML注释及JS代码部分删除掉,然后再用正则表达式找出需要提取的部分,可以说使用正则表达式来做是一个比较繁琐的过程,特别是 ...
- .Net解析html文档类库HtmlAgilityPack完整使用说明
在前几篇文章中([搜房网房产数据采集程序demo--GeckoWebBrowser实例] )都有提到一个解析html的C#类库HtmlAgilityPack, 今天终于有时间整理一下,并把Demo分享 ...
最新文章
- helm命令的基本使用
- 【小练习06】HTML+CSS--电影公告
- Python进阶(2)
- 远程连接MySql数据库
- c语言中bluetooth函数,C语言中的低功耗蓝牙-使用Bluez创建GATT服务器
- java apk安装路径_android apk安装过程源码解析
- 拓端tecdat|R语言文本挖掘使用tf-idf分析NASA元数据的关键字
- ubuntu 安装php 5.4.9 编译安装
- CSS中filter滤镜的学习笔记
- 一步一步手写实现实时监测物体YOLO v3 EASY METHOD | OpenCV Python CNN卷积神经网络
- Vector原理与基本使用
- Ansys 2022 安装教程(附赠免费的安装包)
- c语言 unpack函数,Pack/Unpack 总结
- 钉钉H5应用后台回调地址设置(服务端代码逻辑编写).NetCore API
- 吉大软件专硕971-2010
- vulhub漏洞复现37_Liferay
- 签名证书keystore,jks,pk8,x509.pem
- python期中考试试卷分析_最新期中考试试卷分析与反思
- 开发者模式之GPU渲染模式分析
- rar压缩包解开权限密码,忘记rar压缩包密码怎么办?
热门文章
- 高数下|偏导数|高数叔|手写笔记
- “膏腴桃花乡·品质中国红” 店埠胡萝卜种出富民大产业
- gitcafe: programming everyday
- GreenPlum数据备份与恢复
- chmod参数u+s
- 代码随想录第十天 | 225. 用队列实现栈 232.用栈实现队列(Java))
- 2020年终总结:星光不负赶路人--又是折腾的一年
- 哈夫曼树和哈弗曼编码
- MIT团队:开发自动化假新闻检测器|技术前沿洞察
- 【转帖】让国人脸红!崔永元套出的震撼!