从Internet上抓取指定URL的源码的方案
作者: |
引言:
在做无线项目的时候,与通讯公司的数据通讯有一部分是通过XML交互的,所以必须要动态抓取通讯公司提供的固定的Internet上的数据,便研究了一下如何抓取固定url上的数据,现与大家分享一下。
类名GetPageCode,有一个方法GetSource,通过属性传递参数,入参控制的是要取得URL的地址,代理服务器的设置及输出方式的控制,这里大家可以再扩展自己的需要,我这里只提供了两种方式,一种是直接写到本地的某个文件中,另外一种就是返回字符串的。类里已经作了比较详细的注释,我想大家很容易就看明白了,如果实在不明白,那就msn上问吧,MSN:yubo@x263.net。
调用方式:
#region 测试获取远程网页
GetPageCode gpc = new GetPageCode();
gpc.Url="http://ppcode.com";
gpc.ProxyState=1;//使用代理服务器,0为不使用,设置为1后下面的代理设置才起作用
gpc.ProxyAddress="http://proxyName.com";//代理服务器地址
gpc.ProxyPort="80";//代理服务器的端口
gpc.ProxyAccount="proxy";//代理服务器账号
gpc.ProxyPassword="password";//代理服务器密码
gpc.ProxyDomain="bqc";//代理服务器域
gpc.OutFilePath=filePath;//设置输出文件路径的地方,如果不设置,则返回字符串
gpc.GetSource();//处理
string tempErr=gpc.NoteMessage;//如果出错,这里会提示
string tempCode=gpc.OutString;//返回的字符串
#endregion
类代码:
using System;
using System.Collections;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.IO;
using System.Net;
using System.Text;
using System.Web;
namespace Test.Com
{
/// <summary>
/// 功能:取得Internet上的URL页的源码
/// 创建:2004-03-22
/// 作者:Rexsp MSN:yubo@x263.net
/// </summary>
public class GetPageCode
{
#region 私有变量
/// <summary>
/// 网页URL地址
/// </summary>
private string url=null;
/// <summary>
/// 是否使用代码服务器:0 不使用 1 使用代理服务器
/// </summary>
private int proxyState=0;
/// <summary>
/// 代理服务器地址
/// </summary>
private string proxyAddress=null;
/// <summary>
/// 代理服务器端口
/// </summary>
private string proxyPort=null;
/// <summary>
/// 代理服务器用户名
/// </summary>
private string proxyAccount=null;
/// <summary>
/// 代理服务器密码
/// </summary>
private string proxyPassword=null;
/// <summary>
/// 代理服务器域
/// </summary>
private string proxyDomain=null;
/// <summary>
/// 输出文件路径
/// </summary>
private string outFilePath=null;
/// <summary>
/// 输出的字符串
/// </summary>
private string outString=null;
/// <summary>
/// 提示信息
/// </summary>
private string noteMessage;
#endregion
#region 公共属性
/// <summary>
/// 欲读取的URL地址
/// </summary>
public string Url
{
get{return url;}
set{url=value;}
}
/// <summary>
/// 是否使用代理服务器标志
/// </summary>
public int ProxyState
{
get{return proxyState;}
set{proxyState=value;}
}
/// <summary>
/// 代理服务器地址
/// </summary>
public string ProxyAddress
{
get{return proxyAddress;}
set{proxyAddress=value;}
}
/// <summary>
/// 代理服务器端口
/// </summary>
public string ProxyPort
{
get{return proxyPort;}
set{proxyPort=value;}
}
/// <summary>
/// 代理服务器账号
/// </summary>
public string ProxyAccount
{
get{return proxyAccount;}
set{proxyAccount=value;}
}
/// <summary>
/// 代理服务器密码
/// </summary>
public string ProxyPassword
{
get{return proxyPassword;}
set{proxyPassword=value;}
}
/// <summary>
/// 代理服务器域
/// </summary>
public string ProxyDomain
{
get{return proxyDomain;}
set{proxyDomain=value;}
}
/// <summary>
/// 输出文件路径
/// </summary>
public string OutFilePath
{
get{return outFilePath;}
set{outFilePath=value;}
}
/// <summary>
/// 返回的字符串
/// </summary>
public string OutString
{
get{return outString;}
}
/// <summary>
/// 返回提示信息
/// </summary>
public string NoteMessage
{
get{return noteMessage;}
}
#endregion
#region 构造函数
public GetPageCode()
{
}
#endregion
#region 公共方法
/// <summary>
/// 读取指定URL地址,存到指定文件中
/// </summary>
public void GetSource()
{
WebRequest request = WebRequest.Create(this.url);
//使用代理服务器的处理
if(this.proxyState==1)
{
//默认读取80端口的数据
if(this.proxyPort==null)
this.ProxyPort="80";
WebProxy myProxy=new WebProxy();
myProxy = (WebProxy)request.Proxy;
myProxy.Address = new Uri(this.ProxyAddress+":"+this.ProxyPort);
myProxy.Credentials = new NetworkCredential(this.proxyAccount, this.proxyPassword, this.ProxyDomain);
request.Proxy = myProxy;
}
try
{
//请求服务
WebResponse response = request.GetResponse();
//返回信息
Stream resStream = response.GetResponseStream();
StreamReader sr = new StreamReader(resStream, System.Text.Encoding.Default);
string tempCode= sr.ReadToEnd();
resStream.Close();
sr.Close();
//如果输出文件路径为空,便将得到的内容赋给OutString属性
if(this.outFilePath==null)
{
this.outString=tempCode;
}
else
{
FileInfo fi = new FileInfo(this.outFilePath);
//如果存在文件则先干掉
if(fi.Exists)
fi.Delete();
StreamWriter sw = new StreamWriter(this.outFilePath,true,Encoding.Default);
sw.Write(tempCode);
sw.Flush();
sw.Close();
}
}
catch
{
this.noteMessage="出错了,请检查网络是否连通;";
}
}
#endregion
}
}
转载于:https://www.cnblogs.com/huqingyu/archive/2004/07/26/27355.html
从Internet上抓取指定URL的源码的方案相关推荐
- 【C#】WinForm 之 DOTA2英雄搭配助手(网页抓取+在线绿色版+源码开放)
睡不着,无聊......再整理点好玩的出来.先上图 效果 碎碎念 自从13级后打出DOTA2的天梯积分以来简直是逆水行舟不进则退啊,室友已经高呼着被游戏玩了!!结果怒删游戏 其实我也发现这游戏不合适我 ...
- 抓取微信小程序源码教程,扒微信小程序文件等
前言: 想成为一名微信小程序的开发者,前端思路的学习和安全意识是非常有必要的,故务必掌握小程序反编译技能.这里用到了2个工具<包解密>与<反编译>(非原创,均来自网上的大佬), ...
- 最新抓取微信小程序源码教程+附逆向工具WxappUnpacker
正文: 文章目录 前言 一.工具准备(免费) 1 解密工具 2 逆向工具 二.解密小程序 1.确认小程序包位置 2.打开一个小程序 3.解密小程序包 三.逆向小程序 1.检查nodejs 2.安装依赖 ...
- php 获取访问手机号码_移动端网站获取访问者手机号获取抓取PHP方法【源码实例】...
/** * 类名: mobile * 描述: 手机信息类 * 其他:QQ:29295842 */ class mobile { /** * 函数名称: getPhoneNumber * 函数功能: 取 ...
- 抓取微信小程序源码并反编译(蓝叠模拟器)
我的电脑是win10系统,mac的没研究.(哎,穷逼买不起mac) 准备工作: 1.蓝叠手机模拟器(自带文件管理器----很重要) 2.微信apk安装包 3.nodeJS 4.npm 5.反编译工具 ...
- php正则抓取网页指定内容,php正则匹配获取指定url网页页面超级链接地址与抓取指定页面内容方法...
在数据采集与页面分析中,常需要抓取给定url页面的内容,或者第二.第三层次深度页面内容. 这里是一个测试例子的实现,仅供参考. /* 匹配给定页面链接 return:array match[link, ...
- Python爬虫抓取指定网页图片代码实例
更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接:好看站 http://www.nrso.net/ 高州阳光论坛https://www.hnthzk.com/ 想 ...
- 【Fiddler】使用fiddler抓取指定浏览器的包
使用fiddler抓取不到浏览器的包时常用的解决办法: 1.必须先打开Fiddler,再打开浏览器 2.Fiddler只能截取网页与服务器间的通信,无法截取游戏封包 3.Fiddler没有打开捕捉 ...
- 简单的tcpdump抓包使用总结:抓取指定ip、指定网卡、指定端口的包
1.今天由于需要抓包研究网络问题,所以研究了一下抓取指定ip.指定网卡.指定端口的包并且输入到文件中 2 tcpdump与Wireshark介绍 在网络问题的调试中,tcpdump应该说是一个必不可少 ...
最新文章
- WSDM 2020 | RMRN:社区问答中的深度关联推理模型
- C++调用matlab编程
- FPGA FIFO深度计算
- [css] 解释下为什么css的reset不建议直接这么写:*{ margin:0; padding:0;}?
- sql 删除最低分数_软件测试从业者:必备SQL语句21天打卡,前10天
- OpenShift 4 - 使用 Trivy Operator 对项目中的镜像进行安全扫描
- 反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)加入自己的思考(pytorch函数)(三)
- 搜索引擎开发需要用到什么技术?
- Netty学习之读netty权威指南(一)
- keil5怎么添加stc芯片库
- 搭建Android开发环境——Eclipse
- 《大学之路》读后感(1)
- NBA各队所在分区,州,城市,主体育馆资料整理
- Android Studio实现一个记账本项目
- 微信小程序开发WXML语法之条件渲染用法
- 企业网络营销信息源类别及传递渠道调查
- BTA | 陈建闽(阿德):Token的分散过程,一定要基于场景
- 谷歌chrome浏览器ERR_SPDY_PROTOCOL_ERROR错误
- Tip and Ring
- potplayer 多个进程_搞懂进程组、会话、控制终端关系,才能明白守护进程干嘛的?...
热门文章
- java容量_Java集合类初始容量、加载因子、扩容增量
- 获取frame_用Python获取可能是全网最全的杰尼龟表情包(第一弹)
- SPRING事务传播特性
- idea中不小心把文件夹删了
- 011_Vue自定义指令
- 041_对象的创建和销毁
- 软件工程方法论对我们开发软件有多大用处?谈谈你的看法。
- android字符显示流程图,Android应用层View绘制流程与源码分析
- 四章: CentOS6.5 配置连接Windows远程桌面、创建新用户、禁用root在本地或远程使用ssh登录
- safari浏览器横屏怎么设置_Safari浏览器的几个小技巧你掌握了吗?