从Internet上抓取指定URL的源码的方案
作者:

引言:
  在做无线项目的时候,与通讯公司的数据通讯有一部分是通过XML交互的,所以必须要动态抓取通讯公司提供的固定的Internet上的数据,便研究了一下如何抓取固定url上的数据,现与大家分享一下。
  类名GetPageCode,有一个方法GetSource,通过属性传递参数,入参控制的是要取得URL的地址,代理服务器的设置及输出方式的控制,这里大家可以再扩展自己的需要,我这里只提供了两种方式,一种是直接写到本地的某个文件中,另外一种就是返回字符串的。类里已经作了比较详细的注释,我想大家很容易就看明白了,如果实在不明白,那就msn上问吧,MSN:yubo@x263.net。

调用方式:
#region 测试获取远程网页
GetPageCode gpc = new GetPageCode();
gpc.Url="http://ppcode.com";
gpc.ProxyState=1;//使用代理服务器,0为不使用,设置为1后下面的代理设置才起作用
gpc.ProxyAddress="http://proxyName.com";//代理服务器地址
gpc.ProxyPort="80";//代理服务器的端口
gpc.ProxyAccount="proxy";//代理服务器账号
gpc.ProxyPassword="password";//代理服务器密码
gpc.ProxyDomain="bqc";//代理服务器域
gpc.OutFilePath=filePath;//设置输出文件路径的地方,如果不设置,则返回字符串
gpc.GetSource();//处理
string tempErr=gpc.NoteMessage;//如果出错,这里会提示
string tempCode=gpc.OutString;//返回的字符串
#endregion
类代码:
using System;
using System.Collections;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.IO;
using System.Net;
using System.Text;
using System.Web;

namespace Test.Com
{
/// <summary>
/// 功能:取得Internet上的URL页的源码
/// 创建:2004-03-22
/// 作者:Rexsp MSN:yubo@x263.net
/// </summary>
public class GetPageCode
{
  #region 私有变量
  /// <summary>
  /// 网页URL地址
  /// </summary>
  private string url=null;
  /// <summary>
  /// 是否使用代码服务器:0 不使用  1 使用代理服务器
  /// </summary>
  private int proxyState=0;
  /// <summary>
  /// 代理服务器地址
  /// </summary>
  private string proxyAddress=null;
  /// <summary>
  /// 代理服务器端口
  /// </summary>
  private string proxyPort=null;
  /// <summary>
  /// 代理服务器用户名
  /// </summary>
  private string proxyAccount=null;
  /// <summary>
  /// 代理服务器密码
  /// </summary>
  private string proxyPassword=null;
  /// <summary>
  /// 代理服务器域
  /// </summary>
  private string proxyDomain=null;
  /// <summary>
  /// 输出文件路径
  /// </summary>
  private string outFilePath=null;
  /// <summary>
  /// 输出的字符串
  /// </summary>
  private string outString=null;
  /// <summary>
  /// 提示信息
  /// </summary>
  private string noteMessage;

#endregion

#region 公共属性
  /// <summary>
  /// 欲读取的URL地址
  /// </summary>
  public string Url
  {
   get{return url;}
   set{url=value;}
  }
  /// <summary>
  /// 是否使用代理服务器标志
  /// </summary>
  public int ProxyState
  {
   get{return proxyState;}
   set{proxyState=value;}
  }
  /// <summary>
  /// 代理服务器地址
  /// </summary>
  public string ProxyAddress
  {
   get{return proxyAddress;}
   set{proxyAddress=value;}
  }
  /// <summary>
  /// 代理服务器端口
  /// </summary>
  public string ProxyPort
  {
   get{return proxyPort;}
   set{proxyPort=value;}
  }
  /// <summary>
  /// 代理服务器账号
  /// </summary>
  public string ProxyAccount
  {
   get{return proxyAccount;}
   set{proxyAccount=value;}
  }
  /// <summary>
  /// 代理服务器密码
  /// </summary>
  public string ProxyPassword
  {
   get{return proxyPassword;}
   set{proxyPassword=value;}
  }
  /// <summary>
  /// 代理服务器域
  /// </summary>
  public string ProxyDomain
  {
   get{return proxyDomain;}
   set{proxyDomain=value;}
  }
  /// <summary>
  /// 输出文件路径
  /// </summary>
  public string OutFilePath
  {
   get{return outFilePath;}
   set{outFilePath=value;}
  }
  /// <summary>
  /// 返回的字符串
  /// </summary>
  public string OutString
  {
   get{return outString;}
   
  }
  /// <summary>
  /// 返回提示信息
  /// </summary>
  public string NoteMessage
  {
   get{return noteMessage;}
   
  }
  
  #endregion
  
  #region 构造函数
  public GetPageCode()
  {
  }
  #endregion

#region 公共方法
  /// <summary>
  /// 读取指定URL地址,存到指定文件中
  /// </summary>
  public void GetSource()
  {
   WebRequest request = WebRequest.Create(this.url);
   //使用代理服务器的处理
   if(this.proxyState==1)
   {
    //默认读取80端口的数据
    if(this.proxyPort==null)
     this.ProxyPort="80";

WebProxy myProxy=new WebProxy();
    myProxy = (WebProxy)request.Proxy;
    myProxy.Address = new Uri(this.ProxyAddress+":"+this.ProxyPort);
    myProxy.Credentials = new NetworkCredential(this.proxyAccount, this.proxyPassword, this.ProxyDomain);
    request.Proxy = myProxy;
   }
   try
   
   {
    //请求服务
    WebResponse response = request.GetResponse();
    //返回信息
    Stream resStream = response.GetResponseStream();
    StreamReader sr = new StreamReader(resStream, System.Text.Encoding.Default);
    string tempCode= sr.ReadToEnd();
    resStream.Close();
    sr.Close();

//如果输出文件路径为空,便将得到的内容赋给OutString属性
    if(this.outFilePath==null)
    {
     this.outString=tempCode;
    }
    else
    {

FileInfo fi = new FileInfo(this.outFilePath);
     //如果存在文件则先干掉
     if(fi.Exists)
      fi.Delete();
   
     StreamWriter sw = new StreamWriter(this.outFilePath,true,Encoding.Default);
     sw.Write(tempCode);
     sw.Flush();
     sw.Close();
    }
   }
   catch
   {
    this.noteMessage="出错了,请检查网络是否连通;";
   }

}
  #endregion

}
}

posted on 2004-07-26 13:02 浙林龙哥 阅读(...) 评论(...) 编辑 收藏

转载于:https://www.cnblogs.com/huqingyu/archive/2004/07/26/27355.html

从Internet上抓取指定URL的源码的方案相关推荐

  1. 【C#】WinForm 之 DOTA2英雄搭配助手(网页抓取+在线绿色版+源码开放)

    睡不着,无聊......再整理点好玩的出来.先上图 效果 碎碎念 自从13级后打出DOTA2的天梯积分以来简直是逆水行舟不进则退啊,室友已经高呼着被游戏玩了!!结果怒删游戏 其实我也发现这游戏不合适我 ...

  2. 抓取微信小程序源码教程,扒微信小程序文件等

    前言: 想成为一名微信小程序的开发者,前端思路的学习和安全意识是非常有必要的,故务必掌握小程序反编译技能.这里用到了2个工具<包解密>与<反编译>(非原创,均来自网上的大佬), ...

  3. 最新抓取微信小程序源码教程+附逆向工具WxappUnpacker

    正文: 文章目录 前言 一.工具准备(免费) 1 解密工具 2 逆向工具 二.解密小程序 1.确认小程序包位置 2.打开一个小程序 3.解密小程序包 三.逆向小程序 1.检查nodejs 2.安装依赖 ...

  4. php 获取访问手机号码_移动端网站获取访问者手机号获取抓取PHP方法【源码实例】...

    /** * 类名: mobile * 描述: 手机信息类 * 其他:QQ:29295842 */ class mobile { /** * 函数名称: getPhoneNumber * 函数功能: 取 ...

  5. 抓取微信小程序源码并反编译(蓝叠模拟器)

    我的电脑是win10系统,mac的没研究.(哎,穷逼买不起mac) 准备工作: 1.蓝叠手机模拟器(自带文件管理器----很重要) 2.微信apk安装包 3.nodeJS 4.npm 5.反编译工具 ...

  6. php正则抓取网页指定内容,php正则匹配获取指定url网页页面超级链接地址与抓取指定页面内容方法...

    在数据采集与页面分析中,常需要抓取给定url页面的内容,或者第二.第三层次深度页面内容. 这里是一个测试例子的实现,仅供参考. /* 匹配给定页面链接 return:array match[link, ...

  7. Python爬虫抓取指定网页图片代码实例

    更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接:好看站 http://www.nrso.net/ 高州阳光论坛https://www.hnthzk.com/ 想 ...

  8. 【Fiddler】使用fiddler抓取指定浏览器的包

    使用fiddler抓取不到浏览器的包时常用的解决办法: 1.必须先打开Fiddler,再打开浏览器  2.Fiddler只能截取网页与服务器间的通信,无法截取游戏封包  3.Fiddler没有打开捕捉 ...

  9. 简单的tcpdump抓包使用总结:抓取指定ip、指定网卡、指定端口的包

    1.今天由于需要抓包研究网络问题,所以研究了一下抓取指定ip.指定网卡.指定端口的包并且输入到文件中 2 tcpdump与Wireshark介绍 在网络问题的调试中,tcpdump应该说是一个必不可少 ...

最新文章

  1. WSDM 2020 | RMRN:社区问答中的深度关联推理模型
  2. C++调用matlab编程
  3. FPGA FIFO深度计算
  4. [css] 解释下为什么css的reset不建议直接这么写:*{ margin:0; padding:0;}?
  5. sql 删除最低分数_软件测试从业者:必备SQL语句21天打卡,前10天
  6. OpenShift 4 - 使用 Trivy Operator 对项目中的镜像进行安全扫描
  7. 反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)加入自己的思考(pytorch函数)(三)
  8. 搜索引擎开发需要用到什么技术?
  9. Netty学习之读netty权威指南(一)
  10. keil5怎么添加stc芯片库
  11. 搭建Android开发环境——Eclipse
  12. 《大学之路》读后感(1)
  13. NBA各队所在分区,州,城市,主体育馆资料整理
  14. Android Studio实现一个记账本项目
  15. 微信小程序开发WXML语法之条件渲染用法
  16. 企业网络营销信息源类别及传递渠道调查
  17. BTA | 陈建闽(阿德):Token的分散过程,一定要基于场景
  18. 谷歌chrome浏览器ERR_SPDY_PROTOCOL_ERROR错误
  19. Tip and Ring
  20. potplayer 多个进程_搞懂进程组、会话、控制终端关系,才能明白守护进程干嘛的?...

热门文章

  1. java容量_Java集合类初始容量、加载因子、扩容增量
  2. 获取frame_用Python获取可能是全网最全的杰尼龟表情包(第一弹)
  3. SPRING事务传播特性
  4. idea中不小心把文件夹删了
  5. 011_Vue自定义指令
  6. 041_对象的创建和销毁
  7. 软件工程方法论对我们开发软件有多大用处?谈谈你的看法。
  8. android字符显示流程图,Android应用层View绘制流程与源码分析
  9. 四章: CentOS6.5 配置连接Windows远程桌面、创建新用户、禁用root在本地或远程使用ssh登录
  10. safari浏览器横屏怎么设置_Safari浏览器的几个小技巧你掌握了吗?