C#获取动态网页中的数据

删除线格式 # C#获取动态网页中的数据

在实际工作需求中，编辑的文档需要获取历史地震的信息，所以利用计算机语言获取是一个简化人工操作的必要过程，本文分享一下自己第一次获取交互信息的爬虫经历！

操作流程

我要获取的信息如下图，通过填入不同的日期、经纬度、震级等，搜索到想要的结果。

刚开始是没有头绪的，查看网页的源代码找不到搜索的结果，那么我们首先要做的是找到数据的位置。

第一步：通过右键审查元素，点击Network,会出现如下图所示的两个文件：

点击第一个文件，看到它的Preview有我们想要的信息，Response中含有这部分的代码，是我们想要的数据：

第二部：找到网址，请求方式和参数，这部分信息都包含在Headers中：

第三步：C#编程获取网页

这里就直接上代码了

// An highlighted block
//url目标地址
string url = "网址";
//要提交的数据
string postString = "DISPLAY_TYPE=1&PAGEID=earthquake_subao&catalog_ALLDATASETS_RECORDCOUNT=catalog__default_default_default_key__default_default_default_key%3D65%3B"
+"&refreshComponentGuid=earthquake_subao_guid_catalog&begtime=2019-09-10&endtime=2019-10-10"
+"&minM=3&maxM=10&minLon=-180.0&maxLon=180.0&minLat=-90.0&maxLat=90.0"
+"&minDepths=0&maxDepths=1000&SEARCHREPORT_ID=catalog&WX_ISAJAXLOAD=true";
//这里即为传递的参数，可以用工具抓包分析，也可以自己分析，主要是form里面每一个name都要加进来
byte[] postData = Encoding.UTF8.GetBytes(postString);//编码，尤其是汉字，事先要看下抓取网页的编码方式
WebClient webClient = new WebClient();
webClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");//采取POST方式必须加的header，如果改为GET方式的话就去掉这句话即可
byte[] responseData = webClient.UploadData(url, "POST", postData);//得到返回字符流  string srcString = Encoding.UTF8.GetString(responseData);//解码
//解析获取到的网页
HtmlAgilityPack.HtmlDocument History_doc = new HtmlAgilityPack.HtmlDocument();
History_doc.LoadHtml(srcString);

接下来就是网页中内容的读取了，第一次写，谢谢大家的批评指正!!!

下一篇：C#语言中string格式转json格式

C#获取动态网页中的数据相关推荐

python3 requests 动态网页post提交数据_Python爬虫三：动态网页爬虫
1. 利用API爬取数据有时,使用BeautifulSoup解析和提取数据后,输出结果为空.这是由于网页使用了另一种加载数据的方式--通过API加载数据.API(Application Progra ...
mouted能不能访问data中的数据_Vue(定时器)解决mounted不能获取到data中的数据问题...
vue中data定义 data() { return { isok:10, } } 在vue中使用定时器如下 mounted是钩子函数 mounted(){ console.log(this.iso ...
c语言编程网页数据提取,怎么用c语言抓取网页中的数据
当前位置:我的异常网» C语言 » 怎么用c语言抓取网页中的数据怎么用c语言抓取网页中的数据 www.myexceptions.net 网友分享于:2013-07-17 浏览:390次如何用c ...
python网页数据存入数据库_python网络爬虫抓取动态网页并将数据存入数据库MySQL...
简述以下的代码是使用python实现的网络爬虫,抓取动态网页 http://hb.qq.com/baoliao/ .此网页中的最新.精华下面的内容是由JavaScript动态生成的.审查网页元素与网 ...
python网站数据写入mysql_python网络爬虫抓取动态网页并将数据存入数据库MySQL
简述以下的代码是使用python实现的网络爬虫,抓取动态网页 http://hb.qq.com/baoliao/ .此网页中的最新.精华下面的内容是由JavaScript动态生成的.审查网页元素与网 ...
从网页中读取数据 python_数据分析硬核技能：用 Python 爬取网页
我作为数据科学家的第一个任务,就是做网页爬取.那时候,我对使用代码从网站上获取数据这项技术完全一无所知,它偏偏又是最有逻辑性并且最容易获得的数据来源.在几次尝试之后,网页爬取对我来说就几乎是种本能行为 ...
【转载】使用 gnuplot 在网页中显示数据
来源:http://www.ibm.com/developerworks/cn/aix/library/au-gnuplot/ 简介 gnuplot 是一个用于生成趋势图和其他图形的工具.它通常用于收 ...
html 表格是网页中的数据,用 Pandas 读写网页中的 HTML 表格数据
介绍超文本标记语言(HTML)是用于构建网页的标准标记语言.我们可以使用HTML的 Programming LanguageCreatorYear CDennis Ritchie1972PythonG ...
[爬虫]通过url获取连接地址中的数据
1. 要想获取指定连接的数据,那么就得使用HtmlDocument对象,要想使用HtmlDocument对象就必需引用using HtmlAgilityPack; 2. 详细步骤如下: 步骤一 ...

C#获取动态网页中的数据

操作流程

我要获取的信息如下图，通过填入不同的日期、经纬度、震级等，搜索到想要的结果。

刚开始是没有头绪的，查看网页的源代码找不到搜索的结果，那么我们首先要做的是找到数据的位置。

第一步：通过右键审查元素，点击Network,会出现如下图所示的两个文件：

点击第一个文件，看到它的Preview有我们想要的信息，Response中含有这部分的代码，是我们想要的数据：

第二部：找到网址，请求方式和参数，这部分信息都包含在Headers中：

第三步：C#编程获取网页

这里就直接上代码了

C#获取动态网页中的数据相关推荐

最新文章

热门文章