网络搜索引擎原理简介

据中国互联网络信息中心统计，目前搜索引擎是仅次于电子邮件的第二大Internet的应用。搜索引擎技术的研究与应用逾来逾广，正成为计算机工业界和学术界争相研究和开发的对象。

搜索引擎虽然品种繁多、功能不一，但是它们的总体结构和基本的工作原理都是一样的。

每个搜索引擎都有三个部分组成： (1)在Internet上采集信息的"机器人"；(2)对采集到的信息进行索引并建立索引库的索引器；(3)完成用户提交查询请求的网页检索器。
图1.1 搜索引擎总体结构图
1、"机器人"
　　"机器人"实际上是一些基于Web的程序，通过请求Web站点上的HTML网页来对采集该HTML网页，它遍历指定范围内的整个Web空间，不断从一个网页转到另一个网页，从一个站点移动到另一个站点，将采集到的网页添加到网页数据库中。"机器人"每遇到一个新的网页，都要搜索它内部的所有链接，所以从理论上讲，如果为"机器人"建立一个适当的初始网页集，从这个初始网页集出发，遍历所有的链接，"机器人"将能够采集到整个Web空间的网页。
2、索引器
　　索引器负责将"机器人"在Web空间采集到的信息建立索引并存放在索引数据库中，索引数据库可以采用通用的大型数据库，如ORACLE、Sybase等，也可以自己定义文件格式进行存放。为了保证索引数据库信息与Web内容的同步，索引数据库必须定时更新，更新频率决定了搜索结果的及时性，索引数据库更新是通过启动"机器人"对Web空间重新搜索来实现的。
3、网页检索器
　　当用户使用搜索引擎查找信息时，网页检索器接收用户提交的查询条件，并完成对用户查询请求的响应。网页检索器是一个在Web服务器上运行的CGI程序，它首先接收用户提交的查询条件，根据查询条件对索引库进行查找并将查询到的结果返回给用户。
　　有的系统在返回结果之前对网页的相关度进行了计算和评估，并根据相关度进行排序，将相关度大的放在前面，相关度小的放在后面；也有的系统在用户查询之前已经计算了各个网页的网页等级（Page Rank），返回查询结果时将网页等级大的放在前面，网页等级小的放在后面。典型的如大名鼎鼎的Google(http://www.google.com)就是采取这种策略，它的PageRank方法还获得国际专利，因为PageRank的客观性，从而使得由它搜索出来的结果比较公正，不会因为哪家公司使用伎俩，而导致它的网页排在结果的前边，而是根据计算出来的等级值，排在相应的位置。
　　国内目前做得最为出色的应该首推百度(www.baidu.com)，在中文信息搜索方面，其速度不亚于google，虽然其信息覆盖没有达到google那样的规模。(注：google最早由美国斯坦福大学计算机科学系的几名博士生研制出来，目前的信息量约20亿7千万个Web页面，支持世界上大多数流行语言，在这方面，百度颇有不及)。

网络搜索引擎原理简介相关推荐

网络通讯原理简介以及演示通讯过程
OSI网络七层参考模型这是7层网络参考模型非实现层面的 TCP/IP协议实现 TCP/IP协议实现了七层网络模型将展示层和会话层合并到了应用层微信.QQ或tomcat进程都属于应用层该层的常 ...
网络爬虫——原理简介
全面剖析网络爬虫(笔记) 抓取网页深入理解URL URI :Universal Resource Identifier(通用资源标识符)的缩写,Web 上每种可用的资源,如HTML文档.图像.视频片 ...
Google搜索引擎工作原理简介
实在是写不出来高质量的原创文章,今天再次转载一篇网络上看到的文章吧,叫Google搜索引擎工作原理简介,其中比较详细的介绍和分析了google搜索引擎相关工作机制,下面是原文内容: 这篇文章是基于Go ...
DL之CNN：卷积神经网络算法简介之原理简介——CNN网络的3D可视化(LeNet-5为例可视化)
DL之CNN:卷积神经网络算法简介之原理简介--CNN网络的3D可视化(LeNet-5为例可视化) CNN网络的3D可视化 3D可视化地址:http://scs.ryerson.ca/~aharley ...
网络搜索引擎的工作原理
今天一时兴起,想知道能否在Google和Baidu上搜到我的Blog,结果乘兴而去,败兴而归,什么也没有.那么网络搜索引擎是是怎么工作的呢?我的Blog怎样才能被Google检索呢?通过Google的 ...
学习笔记之搜索引擎—原理、技术与系统
搜索引擎 - 原理.技术与系统 Search Engine: Principle, Technology and Systems 李晓明闫宏飞王继民著 by Li Xiaoming, Yan ...
WebServer 软件原理简介
一. B/S结构和 C/S结构简介 1.1 C/S结构所谓C/S 就是 Client - Server , 在Client端有个界面程序. User会通过这个Client端程序来读写存放 ...
搜索引擎原理和简单过程【转】
搜索引擎原理原文链接:http://www.cnblogs.com/seaspring/ 1.1 常用的非结构化数据检索方法按照上节所说,搜索引擎主要处理的是非结构化数据,故名思议,非结构化数据的 ...
Redis分布锁原理简介和实现过程
前言这篇文章介绍下如何实现redis来实现分布式锁及原理简介原理简介 redis 获取分布式锁使用lua脚本的命令 setnx pexpire(提供了毫秒的过期时间,expire提供了基于秒的过期 ...

网络搜索引擎原理简介

网络搜索引擎原理简介相关推荐

最新文章

热门文章