经验总结21--抓取WEB数据，汇率，HtmlAgilityPack

网上找了非常多资料，PHP的比較多，然后找到有csv文件的。处理起来非常麻烦，国外的站点速度非常慢。

最后还是去页面上抓取数据，我是从中国银行抓取的，各位可去其它站点抓取。

1、模拟请求URL。

string url = "http://srh.bankofchina.com/search/whpj/search.jsp?

pjname=1316";

HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
request.Method = "GET";
request.ContentType = "text/html; charset=UTF-8";
request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0";
HttpWebResponse response = request.GetResponse() as HttpWebResponse;
Stream myResponseStream = response.GetResponseStream();
StreamReader myStreamReader = new StreamReader(myResponseStream, Encoding.UTF8);
string result = myStreamReader.ReadToEnd();

2、对HTML进行处理。

使用HtmlAgilityPack进行辅助。

HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(result);
foreach (HtmlNode node in doc.DocumentNode.SelectNodes("//td"))
{
if (node.InnerText == "美元")
{
result = node.NextSibling.NextSibling.InnerText;
break;
}
}

具体数据位置。自己可先用F12查找到。然后使用工具进行查找，具体文档自己去查，这种方法临时获取到USD-CNY的汇率。

经验总结21--抓取WEB数据，汇率，HtmlAgilityPack相关推荐

Linux使用tcpdump抓取网络数据包示例
tcpdump是linux命令行下常用的的一个抓包工具,记录一下平时常用的方式,测试机器系统是ubuntu 12.04. tcpdump的命令格式 tcpdump的参数众多,通过man tcpdump ...
web scraper 抓取网页数据的几个常见问题
如果你想抓取数据,又懒得写代码了,可以试试 web scraper 抓取数据. 相关文章: 最简单的数据抓取教程,人人都用得上 web scraper 进阶教程,人人都用得上如果你在使用 web s ...
怎么获取web开发怎么获取手机的唯一标识_PYTHON实现北京住宅小区数据抓取-(Web服务API-地点检索服务)
最近工作需要整理了一些百度地图接口查询北京住宅小区的相关信息.该篇文章主要从如下3个方面的说明:Web服务API -地点检索服务.需求分析和 PYTHON实现 . Web服务API -地点检索服务: ...
从人人网抓取高校数据信息，包括，省份 - 高校 - 院系 (提供最终SQL文件下载)...
从人人网抓取高校数据信息,包括,省份 - 高校 - 院系 Author: handt Blog : www.cnblogs.com/handt 涉及到的脚本和 SQL 文件点此下载 ===== ...
Python 爬虫篇#笔记02# | 网页请求原理和抓取网页数据
目录一. 网页请求原理 1.1 浏览网页的过程 1.2 统一资源定位符URL 1.3 计算机域名系统DNS 1.4 分析浏览器显示完整网页的过程 1.5 客户端THHP请求格式 1.6 服务端HTT ...
查询数据抓取网站数据_有了数据，我就学会了如何在几个小时内抓取网站，您也可以...
查询数据抓取网站数据 I had a shameful secret. It is one that affects a surprising number of people in the da ...
抓取网页数据并解析Android
抓取网页数据并解析标签: 网页抓取jsoupAndroid 2016-03-02 13:54 1262人阅读评论(1) 收藏举报分类: Android开发(原创)(7) 版权声明:本文为博 ...
Scrapy 案例一：通过 API 抓取天气预报数据
目录一.概述二.案例分析三.编码实现四.获取多个 city 的天气信息(简单实现) 一.概述在一些简单的网站中,可以发现,所有的数据都在网页代码中,然而在实际获取数据的过程中,我们可以发现, ...
cookie追加数据_集算器 SPL 抓取网页数据
[摘要] 集算器 SPL 支持抓取网页数据,根据抓取定义规则,可将网页数据下载到在本地进行统计分析.具体定义规则要求.使用详细情况,请前往乾学院:集算器 SPL 抓取网页数据! 网站上的数据源是我们进 ...
python爬网页数据用什么_初学者如何用“python爬虫”技术抓取网页数据？
原标题:初学者如何用"python爬虫"技术抓取网页数据? 在当今社会,互联网上充斥着许多有用的数据.我们只需要耐心观察并添加一些技术手段即可获得大量有价值的数据.而这里的&quo ...

经验总结21--抓取WEB数据，汇率，HtmlAgilityPack

经验总结21--抓取WEB数据，汇率，HtmlAgilityPack相关推荐

最新文章

热门文章