C#.NET分别以GET和POST方式抓取远程页面
引入命名空间
using System.IO;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;
//以GET方式抓取远程页面内容
public string Get_Http(string tUrl)
{
string strResult;
try
{
HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(tUrl);
hwr.Timeout = 19600;
HttpWebResponse hwrs = (HttpWebResponse)hwr.GetResponse();
Stream myStream = hwrs.GetResponseStream();
StreamReader sr = new StreamReader(myStream, Encoding.Default);
StringBuilder sb = new StringBuilder();
while (-1 != sr.Peek())
{
sb.Append(sr.ReadLine() + "\r\n");
}
strResult = sb.ToString();
hwrs.Close();
}
catch (Exception ee)
{
strResult = ee.Message;
}
return strResult;
}
//以POST方式抓取远程页面内容
//postData为参数列表
public string Post_Http(string url, string postData, string encodeType, out string err)
{
string uriString = url;
byte[] byteArray;
byte[] responseArray;
//postData = "checkvalue=32&bbb=%CD%B6%C6%B1&ilc=0&kkk=22";
Encoding encoding = Encoding.GetEncoding(encodeType);
try
{
WebClient myWebClient = new WebClient();
WebHeaderCollection myWebHeaderCollection;
myWebClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");
//myWebClient.Headers.Add("Referer","http://xxxxx/xxxxxxxxxxxxxxxxxxxxxxxx");
//myWebClient.Headers.Add("Accept-Language","zh-cn");
myWebHeaderCollection = myWebClient.Headers;
byteArray = encoding.GetBytes(postData);
responseArray = myWebClient.UploadData(uriString, "POST", byteArray);
err = string.Empty;
return this.StrClearNoUse(encoding.GetString(responseArray));
}
catch (Exception ex)
{
err = ex.Message;
return string.Empty;
}
}
转载于:https://www.cnblogs.com/waemz/archive/2007/04/24/724526.html
C#.NET分别以GET和POST方式抓取远程页面相关推荐
- #.NET分别以GET和POST方式抓取远程页面
代码 引入命名空间 using System.IO; using System.Net; using System.Text; using System.Text.RegularExpressions ...
- python3 爬虫第二步Selenium 使用简单的方式抓取复杂的页面信息
Selenium 简介 该系列专栏上一篇爬虫文章点击这里. 网站复杂度增加,爬虫编写的方式也会随着增加.使用Selenium 可以通过简单的方式抓取复杂的网站页面,得到想要的信息. Selenium ...
- python find()效率_基于python分别采用同步与异步(协程)方式抓取时光网TOP100电影...
欢迎各位小哥哥小姐姐阅读本的文章,对大家学习有帮助,请点赞加关注哦!!!!!!!!!! 您的点赞和关注将是我持续更新的动力呢.^v^ 有不懂的问题可以私聊我哦! 如题,同步运行就是python按照代码 ...
- 实例:使用puppeteer headless方式抓取JS网页
puppeteer google chrome团队出品的puppeteer 是依赖nodejs和chromium的自动化测试库,它的最大优点就是可以处理网页中的动态内容,如JavaScript,能够更 ...
- java getconnection_java学习-GET方式抓取网页(UrlConnection和HttpClient)
抓取网页其实就是模拟客户端(PC端,手机端...)发送请求,获得响应数据documentation,解析对应数据的过程.---自己理解,错误请告知 一般常用请求方式有GET,POST,HEAD三种 G ...
- 以编程方式抓取中国联通电子发票
电子发票通常是以pdf文件存在,各大电商几乎都提供电子发票,如京东.淘宝(天猫).苏宁易购.携程.中国联通.电信.移动等平台.那么,我们如何以编程方式爬取这些平台的电子发票呢?好了,这里我直接上代码供 ...
- 以编程方式抓取京东商城电子发票
电子发票通常是以pdf文件存在,各大电商几乎都提供电子发票,如京东.淘宝(天猫).苏宁易购.携程.中国联通.电信.移动等平台.那么,我们如何以编程方式爬取这些平台的电子发票呢?好了,这里我直接上代码供 ...
- Python笔记:使用代理方式抓取App的数据操作案例
概述 App的爬取相比Web端爬取更加容易,反爬中能力没有那么强,而且响应数据大多都是JSON形式,解析更加简单. 在APP端若想查看和分析内容那就需要借助抓包软件,常用的有:Filddler.Cha ...
- java 流的方式抓取网页 但是显示不全_用java抓取网页源代码时总是无法获取完整的源代码信息,求指导...
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 无论是用urlconnection还是httpurlconnection都只能获得一部分网页源代码(即有的标签内容在网页上右键-查看源代码能看到,但是用下 ...
- php爬取html内容,php抓取网页html,curl和file_get_contents通过get或post方式抓取网页内容,源代码
1.curl方式获取 <?php$a = 'http://www.888.com/123.html'; $ch = curl_init($a); curl_setopt($ch, CURLOPT ...
最新文章
- 解决ssm项目表单数据提交到数据库乱码问题
- Perl调试器的用法
- 阿里云产品搭建web应用梳理
- java wcf 未提供用户名_WCF安全之自定义用户名密码验证方式 | 学步园
- 数据可视化组队学习:《Task06 - 场景案例显神通》笔记
- 【机器学习】Auto-Sklearn:使用 AutoML 加速你的机器学习模型
- 小程序获取微信用户绑定的手机号
- 看到程序员坐在电脑前,如何判断程序员正在做什么?只需看这些
- 自动清理归档日志_LGWR 日志写入进程
- 哈尔滨工程大学ACM预热赛(A,C,H,I)
- 魔窗使用笔记(穿透微信)
- oracle会话占用pga异常,OLTP,单个session占pga大于2G,有见过的没?
- 04. Redis 环境搭建-单实例
- mac地址前6位对应vendor
- 2022仿淘宝网首页html+css
- MySQL数据库常见错误与解决方法总结
- Ubuntu Linux 双网卡 局域网 共享上网 很简单的操作
- usb接口驱动_TCP/IP Over USB 用USB传输以太网数据,给你的MCU加个网卡
- 【计算机毕业设计】38.网上轰趴预订系统
- 室内聚会趣味游戏大全
热门文章
- 大量原创视频教程分享(01)---XSL语法教程
- hdu 4057(ac自动机+状态压缩dp)
- MFC中的CFileFind类
- 干货来袭丨资产可用性真的是终极目标吗?
- 构建Docker镜像仓库的另一选择:Nexus3 - DockOne.io
- 【数据蒋堂】报表应用的三层结构
- 《HTML5 2D游戏编程核心技术》——第3章,第3.8节绘制动画帧
- LWUIT的绘图功能
- 4.企业安全建设指南(金融行业安全架构与技术实践) --- 内控合规管理
- 4.Linux/Unix 系统编程手册(上) -- 文件IO:通用的IO模型