[转]Httrack工具与使用指南

HTTrack工具介绍

HTTrack是一个网站镜像工具，本来是用来抓取网站做离线浏览用的。但是HTTrack的爬虫特性和搜索引擎蜘蛛爬虫非常的像，这也逐渐应用到 SEO（搜索引擎优化）工作中。其实这两种看似不同的爬虫做的都是同样的工作，就是复制网站并存储下来（网站在搜索引擎中的网页快照就是被存储下来的内容）。

HTTrack Website Copier界面如下图所示：

我们一般用 HTTrack Website Copier 来对网站进行检测或测试，模拟爬虫对受保护服务的爬行、抓取、收录，以来测试我们的防护设备对爬虫的防护。

HTTrack工具使用

第一步：创立项目的名称（工程名）

第二步：选择操作方式，再点击“添加URL”,将我们的网站地址添加进去。

第三步：进入“选项”，设定爬行和抓取规则等选项

在选项中，取消使用代理进行FTP传输；

进入“扫描规则”，为HTTrack程序设定爬行和抓取规则，HTTrack里面自带了一些，可以自己设置，也可以默认。

这样的扫描规则搜索引擎也一定会有的，比如不收录.exe文件,zip文件等等。然后不收录一些特定的跟踪链接，如 ad.doubleclick.net 。你需要把一些搜索引擎爬虫不收录的特征加进去。

然后在“搜寻”里面，很多的特征都是现在搜索引擎爬虫的特征：

一般的搜索引擎不会接收cookies，因此测试时我们也将此项去掉。

第四步：一般按照以上设置就可以，其他的默认就行。点击下一步：

在此页面，我们不用选择任何项，直接点击完成就可以进行测试了，如下图

此时，HTTrack开始对网页进行爬行，抓取。

原文地址:https://wenku.baidu.com/view/b128946327d3240c8447ef61.html

[转]Httrack工具与使用指南相关推荐

Http压测工具wrk使用指南【转】
用过了很多压测工具,却一直没找到中意的那款.最近试了wrk感觉不错,写下这份使用指南给自己备忘用,如果能帮到你,那也很好. 安装 wrk支持大多数类UNIX系统,不支持windows.需要操作系统支持 ...
截屏工具Snipaste使用指南
Snipaste 是一个简单但强大的贴图工具,同时也可以执行截屏.标注等功能. 开始截图快捷键(默认为 F1) 鼠标左键单击托盘图标何为一次成功的截图保存到剪贴板 ( Ctrl + C / E ...
IDEA工具避坑指南(七)：git@github.com: Permission denied|You must supply a key in OpenSSH public key format详解
错误描述用IDEA通过版本控制器从GitHub拉取目项时,出现下述错误错误一:IDEA clone项目时,控制台错误: Cloning into 'gitidea'... git@github ...
计算机快捷键桌布,桌面改造篇三：编程娱乐两不误 | 伪程序猿的Windows双屏组建/效率工具/桌面美化指南...
桌面改造篇三:编程娱乐两不误 | 伪程序猿的Windows双屏组建/效率工具/桌面美化指南 2020-07-10 11:41:39 153点赞 1107收藏 74评论哈喽大家好,我是码呆茶!作为一 ...
可以用来分析文本数据的Python工具的完整指南
探索性数据分析是任何机器学习工作流程中最重要的部分之一,自然语言处理也是如此. 但是,应该选择哪些工具来有效地浏览和可视化文本数据? 在本文(Shahul Es最初在 Neptune博客上发布 )中 ...
IDEA工具避坑指南(五)：如何统一编码为UTF-8 | Tomcat控制台乱码
前言在使用IDEA工具之前,必须做的优化之一,统一编码格式:本文以UTF-8为例注:UTF-8对中文比较友好,这个编码格式一个字符占用3个字节. 步骤 1.常规全局设置 1.点击File--Set ...
痞子衡嵌入式：恩智浦MCU安全加密启动一站式工具nxpSecBoot用户指南
痞子衡嵌入式:恩智浦MCU安全加密启动一站式工具nxpSecBoot用户指南 nxpSecBoot 1 软件概览 1.1 介绍 nxpSecBoot是一个专为NXP MCU安全加密启动而设计的工具,其 ...
自动化运维工具-Ansible实战指南
Ansible实战前言一.Ansible简介 1.ansible是什么? 2.ansible特点 3.ansible架构主要模块工作流程命令执行过程二.Ansible 配置 1 安装ans ...
Http压测工具wrk使用指南
用过了很多压测工具,却一直没找到中意的那款.最近试了wrk感觉不错,写下这份使用指南给自己备忘用,如果能帮到你,那也很好. 安装 wrk支持大多数类UNIX系统,不支持windows.需要操作系统支持 ...

[转]Httrack工具与使用指南

[转]Httrack工具与使用指南相关推荐

最新文章

热门文章