.NET网络编程学习(三)--网络蜘蛛程序(Spider)

.NET网络编程学习(三)

在上一节中,我们通过一个简单的Http服务器程序学习了Socket服务器端的编程.
这一节将通过一个简单的网络蜘蛛程序(Spider)来学习Socket客户端的程序设计.

Spider是搜索引擎重要的组成部分，其基本的原理也比较简单，但要真正写一个能够用于搜索引擎的Spider绝非一件易事。

从本质来说，Spider就是一个网页下载程序，然后再对下载的网页进行分析，提取，整理，然后交给索引程序处理生成索引。

而对于Socket客户端来说，分以下几步来实现连接服务器端：

(1)创建IPEndPoint实例和套接字

 IPAddress hostIp = Dns.GetHostEntry("http://www.hust.edu.cn").addresslist[0];IPEndPoint ep = new IPEndPoint(hostIp, 80);Socket client = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);

(2)连接服务器端

   try{client.Connect(ep);}catch (SocketException e){Console.WriteLine(e.Message);}

(3)发送请求

    client.Send(Encoding.GetEncoding("us-ascii").GetBytes("GET /index.html HTTP/1.1\r\n"));client.Send(Encoding.GetEncoding("us-ascii").GetBytes("Host:hust.edu.cn\r\n"));client.Send(Encoding.GetEncoding("us-ascii").GetBytes("Connection:Close\r\n"));client.Send(Encoding.GetEncoding("us-ascii").GetBytes("\r\n"));

(4)接收数据

 StringBuilder recstr = new StringBuilder();byte[] buff = new byte[1024];int rCount=0;while(true){rCount = client.Receive(buff, buff.Length, SocketFlags.None); //读取数据if (rCount > 0){recstr.Append(ASCIIEncoding.ASCII.GetString(buff, 0, rCount));}elsebreak;}

完整代码如下:

using System;
using System.Collections.Generic;
using System.Text;
using System.Net;
using System.Net.Sockets;
using System.IO;
namespace MyHttpClient
{class Program{static void Main(string[] args){IPAddress hostIp = Dns.GetHostEntry("www.hust.edu.cn").AddressList[0];IPEndPoint ep = new IPEndPoint(hostIp, 80);Socket client = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);try{client.Connect(ep);}catch (SocketException e){Console.WriteLine(e.Message);}//发送请求client.Send(Encoding.GetEncoding("us-ascii").GetBytes("GET /index.html HTTP/1.1\r\n"));client.Send(Encoding.GetEncoding("us-ascii").GetBytes("Host:hust.edu.cn\r\n"));client.Send(Encoding.GetEncoding("us-ascii").GetBytes("Connection:Close\r\n"));client.Send(Encoding.GetEncoding("us-ascii").GetBytes("\r\n"));StringBuilder recstr = new StringBuilder();byte[] buff = new byte[1024];int rCount=0;while(true){rCount = client.Receive(buff, buff.Length, SocketFlags.None); //读取数据if (rCount > 0){recstr.Append(ASCIIEncoding.ASCII.GetString(buff, 0, rCount));}elsebreak;}using (StreamWriter sw = new StreamWriter(File.Create(@"c:\test.html"))){sw.Write(recstr.ToString()); //写入文件}Console.WriteLine("下载成功!");Console.Read();}}
}```

.NET网络编程学习(三)--网络蜘蛛程序(Spider)相关推荐

.NET网络编程学习(三)
在上一节中,我们通过一个简单的Http服务器程序学习了Socket服务器端的编程.这一节将通过一个简单的网络蜘蛛程序(Spider)来学习Socket客户端的程序设计. Spider是搜索引擎重要的组 ...
C++网络编程学习：网络数据报文的收发
网络编程学习记录使用的语言为C/C++ 源码支持的平台为:Windows 笔记一:建立基础TCP服务端/客户端点我跳转笔记二:网络数据报文的收发点我跳转笔记三:升级为select网络模型 ...
linux 网络编程学习
linux 网络编程学习 Linux网络编程学习路线 - CTHON - 博客园 (cnblogs.com)
网络编程0：网络基础知识
返回:Linux网络编程学习笔记 1.网络应用程序设计模式 C/S模式:传统的网络应用设计模式,客户机(client)/服务器(server)模式.需要在通讯两端各自部署客户机和服务器来完成数据通信. ...
脑残式网络编程入门(三)：HTTP协议必知必会的一些知识
为什么80%的码农都做不了架构师?>>> 本文原作者:"竹千代",原文由"玉刚说"写作平台提供写作赞助,原文版权归"玉刚说&q ...
java网络编程的三要素
1.IP地址,是设备的标识.Java学习笔记http://www.mobiletrain.org/note/java/ 要想让网络中的计算机能相互通信,必须为每台计算机指定一个标识号,通过此标识号来指 ...
谈一谈网络编程学习经验（陈硕）
作者:陈硕原文地址:http://blog.csdn.net/solstice/article/details/6527585 本文谈一谈我在学习网络编程方面的一些个人经验."网络编程& ...
C++网络编程学习：服务端多线程分离业务处理高负载
网络编程学习记录使用的语言为C/C++ 源码支持的平台为:Windows / Linux 笔记一:建立基础TCP服务端/客户端点我跳转笔记二:网络数据报文的收发点我跳转笔记三:升级为se ...
谈一谈网络编程学习经验
转自陈硕 giantchen@gmail.com blog.csdn.net/Solstice 2011-06-06 PDF 版下载:https://github.com/downloads/ch ...
谈一谈网络编程学习经验(06-08更新)
谈一谈网络编程学习经验陈硕 giantchen@gmail.com blog.csdn.net/Solstice 2011-06-08 PDF 版下载:https://github.com/down ...

.NET网络编程学习(三)--网络蜘蛛程序(Spider)

.NET网络编程学习(三)

.NET网络编程学习(三)--网络蜘蛛程序(Spider)相关推荐

最新文章

热门文章