NetSpider 网络蜘蛛1.0 的简介
支持多线程下载和 自动断点续传。特别适合对网站上的图象文件进行自动下载，是图片 搜集者的利器。详细的使用说明见：
网络蜘蛛是一个自动搜索HTML页面并下载指定文件的软件。最初设计它是为了下载网站上的图片，想想看，面对那些动辄拥有数百幅图片的网站，你是否有耐心和时间一一点击查看和下载？而且在目前上网费用如此高昂的年代，在网站上慢慢地手工浏览和下载图片是不是太过奢侈了一点？如果你是一个图片收集爱好者得话，建议你试一试网络蜘蛛这个软件。它可以从你指定的地址开始，自动搜索网站并下载图片或其它软件。听起来似乎有点象离线浏览器或网站下载软件是吗？其实它们还是有些差别的，网络蜘蛛的设计目标主要是针对图片等一些比较零碎的、尺寸不是很大的文件的下载，并高度强调自动化工作和高可靠性。下面就来介绍一下它的主要功能。
一. 基本使用：
1.URL： 其实就是网络地址。在这里输入希望开始搜索的页面地址。
2.最大搜索层数：这里输入希望搜索的层数。这个参数限制网络蜘蛛自动搜索的范围，开始页面为第一层，开始页面连接的页面为第二层，第二层页面上连接的页面为第三层，依次类推。建议大家把搜索的层数限制在3层以内，因为网页的连接通常都比较多，如果搜索层数太多的话，会造成过多的无效搜索，反而浪费了带宽和资源。当然，如果有专线又不计较通信费用的话，可以试试多搜索几层，看看都有什么结果。不过我要告诉大家的是，据统计，互连网上的任意两个页面的距离平均是9个连接！
3.同步下载线程数：这个参数比较专业，为了充分利用网络带宽，网络蜘蛛支持多线程同时下载功能，即同时下载多个文件，这样就可以充分的挖掘通信线路的潜力，提高下载速率。对于拨号用户来讲，这个参数一般设在20-40之间，太多可能堵塞通信线路，太少则不能充分利用带宽。这个参数还和连接的网站速度有关，对于速度较快的站点，可以设小些，否则就设大些。可以根据下载速率来自由设定和调整。
4.下载文件类型：可以选择下载的类型，你可以只下载图片，也可以下载包括html文件再内的所有文件。
5.文件名必须包括：可以设定一个字符串，只有文件包括这个字符串时，网络蜘蛛才下载它。这样可以滤除不必要的文件，提高下载效率，注意：本参数不支持如*.jpg或???.jpg之类的通配符，如果只要下载jpg文件，可以填写 .jpg。
6.保存目录：可以指定下载文件保存的目录，请输入相对路径，如“123”，“abc”等，目录会自动创建在网络蜘蛛执行文件的相同目录下，不支持嵌套目录，如“123/456"等。
7.只下载同一服务器上的文件：选中此选项可以避免网络蜘蛛被页面上的连接引到其它站点上去。
8.下载页面内嵌图片：选中此选项可以让网络蜘蛛下载页面上嵌入的图片，有些网站会在页面上放置小预览图片，取消此选项可以让网络蜘蛛不下载此类图片。
9.下载超链接文件：选中此项，将使网络蜘蛛下载页面上的需要点击才能打开的超链接文件。
10.只下载最后一层链接文件：选中此项可以使网络蜘蛛忽略搜索到的前几层页面上的文件，只下载最后一层链接中的文件。
设定好选项后，点击开始按钮，就可以开始下载了。网络蜘蛛支持断点续传功能，你可以在任意时候停止下载或重新开始下载。
二. 设定下载任务列表：
在网络蜘蛛主界面左上角的图标上点一下，打开下拉菜单，选择“Edit URL List”就可以进入任务设定界面：
这里提供一个任务编辑器，你可以设定好下载的任务表，然后让网络蜘蛛自动完成下载。参数的设定和上面介绍的一样，需要介绍的是任务列表编辑器独有的四个参数，一个是超时设置，它可以设定一个任务的超时时间，单位是分钟，当一个任务的下载进度长时间停滞时，网络蜘蛛会自动终止这个任务，进行下一个任务。另一个有用的设置是完成后自动关机功能，选中这个选项后，网络蜘蛛会在所有任务完成后自动关闭计算机。开始点参数是一个控制开始下载任务的参数，第一个任务是0，第二个任务是1，依次类推，网络蜘蛛会从设定的开始点开始执行下载任务。一般如果从头一个任务开始的话，这个参数设为0就行了，随着任务的执行，网络蜘蛛会自动修改这个参数，没有特殊情况的话，请勿手工修改它。每一个任务还有一个“有效”参数，可以决定网络蜘蛛是否处理这个任务。
注意：开始按任务列表下载请按此界面上的”开始下载“键，请勿按主界面上的“开始”键。
NetSpider 网络蜘蛛1.0 的简介相关推荐
- 用C#2.0实现网络蜘蛛(WebSpider)
摘要:本文讨论了如何使用C#2.0实现抓取网络资源的网络蜘蛛.使用这个程序,可以通过一个入口网址(如http: //www.comprg.com.cn)来扫描整个互联网的网址,并将这些扫描到的网址所指 ...
- 搜索引擎/网络蜘蛛程序源代码
国外开发的相关程序 1.Nutch 官方网站 http://www.nutch.org/ 中文站点 http://www.nutchchina.com/ 最新版本:Nutch 0.7.2 Releas ...
- 【转】搜索引擎/网络蜘蛛程序源代码
国外开发的相关程序 1.Nutch 官方网站 http://www.nutch.org/ 中文站点 http://www.nutchchina.com/ 最新版本:Nutch 0.7.2 Releas ...
- linux 的ip 设置lo_linux网络虚拟化： network namespace 简介及实验
namespace(命名空间)和cgroup是软件容器化(想想Docker)趋势中的两个主要内核技术.简单来说,cgroup是一种对进程进行统一的资源监控和限制,它控制着你可以使用多少系统资源(CPU ...
- 关于网络蜘蛛以及搜索蜘蛛爬行
当"蜘蛛"程序出现时,现代意义上的搜索引擎才初露端倪.它实际上是一种电脑"机器人"(Computer Robot),电脑"机器人"是指某个能 ...
- 转帖不会乱码的，powershell网络蜘蛛
抓取(爬取)网上信息的脚本程序,俗称网络蜘蛛. powershell中自带了这样的两个命令,[Invoke-WebRequest]和[Invoke-RestMethod],但这两个命令有时候会乱码. ...
- 搜索引擎（网络蜘蛛及搜索引擎基本原理）
2006-05-25 网络蜘蛛及搜索引擎基本原理 TAG:搜索相关 搜索引擎的工作原理大致可以分为: 搜集信息:搜索引擎的信息搜集基本都是自动的.搜索引擎利用称为网络蜘蛛(spider)的自动搜索机器 ...
- 上周技术关注：C# 3.0 Orcas 简介
[.NET开发] C# 3.0 Orcas 简介 # 以上的介绍将各个新增功能分开逐一介绍, 表面看了好像仅仅是增强了一些新的语法, 增加了C#语言的灵活性, 甚至会有人认为此举得不偿失, 但是最重要 ...
- 建立网络链接编程C语言,用C语言编写一个网络蜘蛛来搜索网上出现的电子邮件地址...
可能大家经常要去互联网上搜索特定的内容,比如收集大量邮件地址,如果用google之类的搜索引擎是没法实现这种特定功能的,所以用C语言来写一个吧.它的功能就是不断去取得网络上的页面,然后分析出网页上出现 ...
最新文章
- 解决：【异常】Caused by: java.lang.IllegalStateException: Zip64 archives are not supported
- 数据库元数据数据字典查询_3_列出给定表的基本信息
- 数据库-解决MySQL的一些常见问题
- c语言程序设计基础的考试题,c语言程序设计基础的考试题.doc
- Python vs Matlab—— find 与 np.where
- JavaScript HTML5脚本编程——“原生拖放”的注意要点
- pillow生成企业营业执照
- 互补滤波系数_说透互补滤波(1) - 线性互补滤波器从原理到实现
- u盘在 计算机管理显示无媒体,urdrive_u盘显示无媒体怎么办_启动盘
- 阿里云天池《“AI Earth”人工智能创新挑战赛》萌新体验
- hotmai邮箱服务器在境外吗,hotmail服务器如何设置？设置hotmail邮箱账号方法
- 一起来学linux：网络命令
- python from win32com import client 出现弹框 隐藏模块中出现编译错误
- c++小游戏（5项）
- ncl如何添加线shp文件_NCL画图个例讲解.pdf
- 自制51单片机烧不进代码各种原因
- Android性能优化-内存优化
- gis处理提示唯一值过多
- 短信服务之阿里云平台
- wait waitpid waitid wait3 wait4