代码

引入命名空间
using System.IO;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;

//以GET方式抓取远程页面内容
    public string Get_Http(string tUrl)
    {
        string strResult;
        try
        {
            HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(tUrl);
            hwr.Timeout = 19600;
            HttpWebResponse hwrs = (HttpWebResponse)hwr.GetResponse();
            Stream myStream = hwrs.GetResponseStream();
            StreamReader sr = new StreamReader(myStream, Encoding.Default);
            StringBuilder sb = new StringBuilder();
            while (-1 != sr.Peek())
            {
                sb.Append(sr.ReadLine() + "\r\n");
            }
            strResult = sb.ToString();
            hwrs.Close();
        }
        catch (Exception ee)
        {
            strResult = ee.Message;
        }
        return strResult;
    }

//以POST方式抓取远程页面内容
//postData为参数列表
    public string Post_Http(string url, string postData, string encodeType, out string err)
    {
        string uriString = url;
        byte[] byteArray;
        byte[] responseArray;
        //postData = "checkvalue=32&bbb=%CD%B6%C6%B1&ilc=0&kkk=22";
        Encoding encoding = Encoding.GetEncoding(encodeType);
        try
        {
            WebClient myWebClient = new WebClient();
            WebHeaderCollection myWebHeaderCollection;
            myWebClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");
            //myWebClient.Headers.Add("Referer","http://xxxxx/xxxxxxxxxxxxxxxxxxxxxxxx");  
            //myWebClient.Headers.Add("Accept-Language","zh-cn");  
            myWebHeaderCollection = myWebClient.Headers;

byteArray = encoding.GetBytes(postData);
            responseArray = myWebClient.UploadData(uriString, "POST", byteArray);
            err = string.Empty;
            return this.StrClearNoUse(encoding.GetString(responseArray));
        }
        catch (Exception ex)
        {
            err = ex.Message;
            return string.Empty;
        }
    }

#.NET分别以GET和POST方式抓取远程页面相关推荐

  1. python3 爬虫第二步Selenium 使用简单的方式抓取复杂的页面信息

    Selenium 简介 该系列专栏上一篇爬虫文章点击这里. 网站复杂度增加,爬虫编写的方式也会随着增加.使用Selenium 可以通过简单的方式抓取复杂的网站页面,得到想要的信息. Selenium ...

  2. python find()效率_基于python分别采用同步与异步(协程)方式抓取时光网TOP100电影...

    欢迎各位小哥哥小姐姐阅读本的文章,对大家学习有帮助,请点赞加关注哦!!!!!!!!!! 您的点赞和关注将是我持续更新的动力呢.^v^ 有不懂的问题可以私聊我哦! 如题,同步运行就是python按照代码 ...

  3. 远程控制篇:抓取远程屏幕图像

    远程控制篇:抓取远程屏幕图像 {抓屏幕图像,保存为内存流--BMP流,压缩BMP流,JPG流,以及使用流} {在网络中传送BMP流和JPG流的速度没测试过} {BMP流的压缩是无损压缩} { 全局变量 ...

  4. Python爬虫:抓取多级页面数据

    前面讲解的爬虫案例都是单级页面数据抓取,但有些时候,只抓取一个单级页面是无法完成数据提取的.本节讲解如何使用爬虫抓取多级页面的数据. 在爬虫的过程中,多级页面抓取是经常遇见的.下面以抓取二级页面为例, ...

  5. PHP抓取远程图片教程(包含不带后缀图片)

    之前做微信登录开发时候,发现微信头像图片没有后缀名,传统的图片抓取方式不奏效,需要特殊的抓取处理.所以,后来将各种情况结合起来,封装成一个类,分享出来. 创建项目 作为演示,我们在www根目录创建项目 ...

  6. 百度UEditor编辑器关闭抓取远程图片功能(默认开启)

    2019独角兽企业重金招聘Python工程师标准>>> 这个坑娘的功能,开始时居然不知道如何触发,以为有个按钮,点击一下触发,翻阅了文档,没有发现,然后再网络上看到原来是复制粘贴非白 ...

  7. 用C#抓取AJAX页面的内容

    用C#抓取AJAX页面的内容[转] 现在的网页有相当一部分是采用了AJAX技术,不管是采用C#中的WebClient还是HttpRequest都得不到正确的结果,因为这些脚本是在服务器发送完毕后才执行 ...

  8. php图片截取后缀,PHP抓取远程图片(含不带后缀的)教程详解

    一.创建项目 作为演示,我们在www根目录创建项目grabimg,创建一个类GrabImage.php和一个index.php. 二.编写类代码 我们定义一个和文件名相同的类:GrabImage cl ...

  9. gitlab 分支操作笔记\新建远程分支\抓取远程分支\复制远程\删除分支

    密码重新输入 git config --global http.emptyAuth true 1.不复制远程,直接新建远程分支.(非正规操作) git init //初始化 git remote ad ...

最新文章

  1. LAMP编译安装,并搭建discuz
  2. 再见xx网盘!4 行命令搭建属于你的私人网盘!
  3. java中怎么制作单选框_java代码swing编程 制作一个单选按钮的Frame
  4. css 属性选择器笔记
  5. 基于.NET平台的分层架构实战(二)——需求分析与数据库设计
  6. 【报告分享】二次元衍生创作行业报告.pdf(附下载链接)
  7. Label高度根据内容变化SnapKi
  8. Malmquist指数DEAP2.1应用
  9. matlab画频谱图
  10. 程序员和码农有什么不同?从这三个单词就看得出来
  11. Linux Debian11 Podman容器常用命令
  12. 用户管理后台管理项目总结
  13. 【Proteus仿真】51单片机制作简易计算器+ LCD1602显示
  14. 【QT学习六】QTextEdit
  15. EXCEL VB简单使用
  16. Java_Web实战(一) --环境搭建
  17. 并购潮背后 英特尔能否跨域移动成为AI芯片老大
  18. 超便利!教你用ESP32开发板DIY掌上网页服务器!
  19. grub effect
  20. 壁纸小程序源码(基于thinkphp后端,uniapp小程序)

热门文章

  1. 你的微信二维码是唯一的吗?【微信二维码的秘密】
  2. 云舒网络译:Rancher1.0正式版公布
  3. 东莞新能源——业务流程管理实践
  4. 编写高质量代码改善C#程序的157个建议——建议133:用camelCasing命名私有字段和局部变量...
  5. list-style样式不显示问题
  6. 解决ECSHOP后台订单里面点击编辑配送方式时出现的警告问题
  7. Oracle的时区问题
  8. 测量分类准确率的过程算坍缩吗?
  9. 用弹性振子力学系统方法计算一组反对角矩阵的质量和频率n+m=8
  10. 什么叫大地高_续航8折不存在,北汽新能源EX5实力演绎什么叫高续航SUV!