引入命名空间
using System.IO;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;

//以GET方式抓取远程页面内容
    public string Get_Http(string tUrl)
    {
        string strResult;
        try
        {
            HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(tUrl);
            hwr.Timeout = 19600;
            HttpWebResponse hwrs = (HttpWebResponse)hwr.GetResponse();
            Stream myStream = hwrs.GetResponseStream();
            StreamReader sr = new StreamReader(myStream, Encoding.Default);
            StringBuilder sb = new StringBuilder();
            while (-1 != sr.Peek())
            {
                sb.Append(sr.ReadLine() + "\r\n");
            }
            strResult = sb.ToString();
            hwrs.Close();
        }
        catch (Exception ee)
        {
            strResult = ee.Message;
        }
        return strResult;
    }

//以POST方式抓取远程页面内容
//postData为参数列表
    public string Post_Http(string url, string postData, string encodeType, out string err)
    {
        string uriString = url;
        byte[] byteArray;
        byte[] responseArray;
        //postData = "checkvalue=32&bbb=%CD%B6%C6%B1&ilc=0&kkk=22";
        Encoding encoding = Encoding.GetEncoding(encodeType);
        try
        {
            WebClient myWebClient = new WebClient();
            WebHeaderCollection myWebHeaderCollection;
            myWebClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");
            //myWebClient.Headers.Add("Referer","http://xxxxx/xxxxxxxxxxxxxxxxxxxxxxxx"); 
            //myWebClient.Headers.Add("Accept-Language","zh-cn"); 
            myWebHeaderCollection = myWebClient.Headers;

byteArray = encoding.GetBytes(postData);
            responseArray = myWebClient.UploadData(uriString, "POST", byteArray);
            err = string.Empty;
            return this.StrClearNoUse(encoding.GetString(responseArray));
        }
        catch (Exception ex)
        {
            err = ex.Message;
            return string.Empty;
        }
    }

转载于:https://www.cnblogs.com/waemz/archive/2007/04/24/724526.html

C#.NET分别以GET和POST方式抓取远程页面相关推荐

  1. #.NET分别以GET和POST方式抓取远程页面

    代码 引入命名空间 using System.IO; using System.Net; using System.Text; using System.Text.RegularExpressions ...

  2. python3 爬虫第二步Selenium 使用简单的方式抓取复杂的页面信息

    Selenium 简介 该系列专栏上一篇爬虫文章点击这里. 网站复杂度增加,爬虫编写的方式也会随着增加.使用Selenium 可以通过简单的方式抓取复杂的网站页面,得到想要的信息. Selenium ...

  3. python find()效率_基于python分别采用同步与异步(协程)方式抓取时光网TOP100电影...

    欢迎各位小哥哥小姐姐阅读本的文章,对大家学习有帮助,请点赞加关注哦!!!!!!!!!! 您的点赞和关注将是我持续更新的动力呢.^v^ 有不懂的问题可以私聊我哦! 如题,同步运行就是python按照代码 ...

  4. 实例:使用puppeteer headless方式抓取JS网页

    puppeteer google chrome团队出品的puppeteer 是依赖nodejs和chromium的自动化测试库,它的最大优点就是可以处理网页中的动态内容,如JavaScript,能够更 ...

  5. java getconnection_java学习-GET方式抓取网页(UrlConnection和HttpClient)

    抓取网页其实就是模拟客户端(PC端,手机端...)发送请求,获得响应数据documentation,解析对应数据的过程.---自己理解,错误请告知 一般常用请求方式有GET,POST,HEAD三种 G ...

  6. 以编程方式抓取中国联通电子发票

    电子发票通常是以pdf文件存在,各大电商几乎都提供电子发票,如京东.淘宝(天猫).苏宁易购.携程.中国联通.电信.移动等平台.那么,我们如何以编程方式爬取这些平台的电子发票呢?好了,这里我直接上代码供 ...

  7. 以编程方式抓取京东商城电子发票

    电子发票通常是以pdf文件存在,各大电商几乎都提供电子发票,如京东.淘宝(天猫).苏宁易购.携程.中国联通.电信.移动等平台.那么,我们如何以编程方式爬取这些平台的电子发票呢?好了,这里我直接上代码供 ...

  8. Python笔记:使用代理方式抓取App的数据操作案例

    概述 App的爬取相比Web端爬取更加容易,反爬中能力没有那么强,而且响应数据大多都是JSON形式,解析更加简单. 在APP端若想查看和分析内容那就需要借助抓包软件,常用的有:Filddler.Cha ...

  9. java 流的方式抓取网页 但是显示不全_用java抓取网页源代码时总是无法获取完整的源代码信息,求指导...

    该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 无论是用urlconnection还是httpurlconnection都只能获得一部分网页源代码(即有的标签内容在网页上右键-查看源代码能看到,但是用下 ...

  10. php爬取html内容,php抓取网页html,curl和file_get_contents通过get或post方式抓取网页内容,源代码

    1.curl方式获取 <?php$a = 'http://www.888.com/123.html'; $ch = curl_init($a); curl_setopt($ch, CURLOPT ...

最新文章

  1. 解决ssm项目表单数据提交到数据库乱码问题
  2. Perl调试器的用法
  3. 阿里云产品搭建web应用梳理
  4. java wcf 未提供用户名_WCF安全之自定义用户名密码验证方式 | 学步园
  5. 数据可视化组队学习:《Task06 - 场景案例显神通》笔记
  6. 【机器学习】Auto-Sklearn:使用 AutoML 加速你的机器学习模型
  7. 小程序获取微信用户绑定的手机号
  8. 看到程序员坐在电脑前,如何判断程序员正在做什么?只需看这些
  9. 自动清理归档日志_LGWR 日志写入进程
  10. 哈尔滨工程大学ACM预热赛(A,C,H,I)
  11. 魔窗使用笔记(穿透微信)
  12. oracle会话占用pga异常,OLTP,单个session占pga大于2G,有见过的没?
  13. 04. Redis 环境搭建-单实例
  14. mac地址前6位对应vendor
  15. 2022仿淘宝网首页html+css
  16. MySQL数据库常见错误与解决方法总结
  17. Ubuntu Linux 双网卡 局域网 共享上网 很简单的操作
  18. usb接口驱动_TCP/IP Over USB 用USB传输以太网数据,给你的MCU加个网卡
  19. 【计算机毕业设计】38.网上轰趴预订系统
  20. 室内聚会趣味游戏大全

热门文章

  1. 大量原创视频教程分享(01)---XSL语法教程
  2. hdu 4057(ac自动机+状态压缩dp)
  3. MFC中的CFileFind类
  4. 干货来袭丨资产可用性真的是终极目标吗?
  5. 构建Docker镜像仓库的另一选择:Nexus3 - DockOne.io
  6. 【数据蒋堂】报表应用的三层结构
  7. 《HTML5 2D游戏编程核心技术》——第3章,第3.8节绘制动画帧
  8. LWUIT的绘图功能
  9. 4.企业安全建设指南(金融行业安全架构与技术实践) --- 内控合规管理
  10. 4.Linux/Unix 系统编程手册(上) -- 文件IO:通用的IO模型