抓取AJAX网页的方法－Firefox组件，C#集成

现在AJAX的使用越来越广泛了，但是如果经常写网页抓取程序的人会发现，很多网页内容是通用AJAX进行加载的，实际抓取到的内容寥寥无几。

通过网络到处查找方法，发现用firefox浏览器能够正常把AJAX内容通过HTML呈现出来，那么是否意味着我们获取AJAX网页有希望了？

功夫不负有心人，进一步研究发现，firefox确实有一款C#组件，可以用C#集成到桌面程序中。

1）需要引用一个叫Skybound.Gecko.dll的文件。

2）此外还需要导入一个firefox支持的文件夹，代码如下：

Xpcom.Initialize(@"C:\xulrunner-1.9.1.14.en-US.win32.sdk\xulrunner-sdk\bin");

xulrunner-1.9.1.14.en-US.win32.sdk这个文件夹比较大，压缩后都有二十多M，无法上传，可以去google一下，但是记得一定要搜这个名字，因为我试过其它的有些不能用。

3）直接指定URL就可以访问网站了，可以通过this.geckoWebBrowser1.Navigate(URL);来指定。还有很多功能，自己去发现吧。

转载于:https://www.cnblogs.com/zzy2740/archive/2011/09/25/2190029.html

抓取AJAX网页的方法－Firefox组件，C#集成相关推荐

使用php简单网页抓取和内容分析,PHP抓取分析网页的方法
这篇文章主要介绍了PHP抓取及分析网页的方法,结合实例形式详细分析了php网页抓取的原理及分析的技巧,需要的朋友可以参考下本文实例讲述了PHP抓取及分析网页的方法.分享给大家供大家参考,具体如下: ...
HtmlUnit抓取Ajax网页，例子是去哪儿机票
htmlUnit4.2版本 package htmlunit;import java.io.IOException; import java.net.MalformedURLException; im ...
python爬虫抓取动态网页数据_python网络爬虫抓取ajax动态网页数据：以抓取KFC门店地址为例...
一,尝试用BeautifulSoup抓取先打开KFC网站门店列表页面:http://www.kfc.com.cn/kfccda/storelist/index.aspx 可以看到门店列表如下图: 打 ...
如何让搜索引擎抓取AJAX内容
2019独角兽企业重金招聘Python工程师标准>>> 越来越多的网站,开始采用"单页面结构"(Single-page application). 整个网站只有一 ...
selenium抓取动态网页数据
1.selenium抓取动态网页数据基础介绍 1.1 什么是AJAX AJAX(Asynchronouse JavaScript And XML:异步JavaScript和XML)通过在后台与服务器进 ...
用C#抓取AJAX页面的内容
用C#抓取AJAX页面的内容[转] 现在的网页有相当一部分是采用了AJAX技术,不管是采用C#中的WebClient还是HttpRequest都得不到正确的结果,因为这些脚本是在服务器发送完毕后才执行 ...
Python中使用PhantomJS抓取Javascript网页数据
有些网页不是静态加载的,而是通过javascirpt函数动态加载网页,比如下面这个网页,表格中的看涨合约和看跌合约的数据都是通过javascirpt函数从后台加载.仅仅使用beautifulsoup并 ...
雪球python爬虫炒股_如何使用 Python 抓取雪球网页？
我想使用beautifulsoup或者其他的python包抓取雪球网页上面的一些组合,因为雪球网的组合持仓变动的时候,雪球网不会给提示,比如说,我想抓取这个http://xueqiu.com/P/ ...
python爬取网页停止_如何使用Python抓取雪球网页？
我想使用beautifulsoup或者其他的python包抓取雪球网页上面的一些组合,因为雪球网的组合持仓变动的时候,雪球网不会给提示,比如说,我想抓取这个http://xueqiu.com/P/ ...

抓取AJAX网页的方法－Firefox组件，C#集成

抓取AJAX网页的方法－Firefox组件，C#集成相关推荐

最新文章

热门文章