搜索引擎作为互联网发展中至关重要的一种应用,已经成为互联网各个领域的制高点,其重要性不言而喻。搜索引擎领域也是互联网应用中不多见的以核心技术作为其命脉的领域,搜索引擎各个子系统是如何设计的?这成为广大技术人员和搜索引擎优化人员密切关注的内容。

由于对网络搜素过程不是很了解,刚好又是在实验室看到这本书《这就是搜索引擎:核心技术详解》,于是就踏上了对搜索引擎的学习之路。

这本书最大的特点是内容新颖全面而又通俗易懂。对于实际搜索引擎所涉及的各种核心技术都有全面细致的介绍,除了作为搜索系统核心的网络爬虫、索引系统、排序系统、链接分析及用户分析外,还包括网页反作弊、缓存管理、网页去重技术等实际搜索引擎必须关注的技术,同时用相当大的篇幅讲解了云计算与云存储的核心技术原理。同时,其也密切关注搜索引擎发展的前沿技术:Google的×××系统及Megastore等云计算新技术、百度的暗网抓取技术阿拉丁计划、内容农场作弊、机器学习排序等。

接下来,简单的给大家讲述下整个信息检索的过程。。。

搜索引擎的基本工作原理包括如下三个过程:首先在互联网中发现、搜集网页信息;同时对信息进行提取和组织建立索引库;再由检索器根据用户输入的查询关键字,在索引库中快速检出文档,进行文档与查询的相关度评价,对将要输出的结果进行排序,并将查询结果返回给用户。

1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫(spider)。爬虫Spider顺着网页中的超链接,从这个网站爬到另一个网站,通过超链接分析连续访问抓取更多网页。
2、处理网页。搜索引擎抓到网页后,还要做大量的预处理工作,才能提供检索服务。其中,最重要的就是提取关键词,建立索引库和索引(最常用到的就是倒排索引)。其他还包括去除重复网页、分词(中文)、判断网页类型、分析超链接、计算网页的重要度/丰富度等。

3、提供检索服务。用户输入关键词进行检索,搜索引擎从索引数据库中找到匹配该关键词的网页;为了用户便于判断,除了网页标题和URL外,还会提供一段来自网页的摘要以及其他信息。这就要求能够根据用户输入的关键词,推测出用户的搜索意图。

总的来说,这本书还是很详细的讲解了搜索引擎的过程,使大家对信息检索、网络搜索过程有了一定的认识,当然这其中包括一些比较经典的算法,在以后会慢慢给出详解。

转载于:https://blog.51cto.com/tianxiaoyong/1253860

《这就是搜索引擎:核心技术详解》---读后感相关推荐

  1. GC13:XO独占游戏《神鬼寓言传奇》公布

    作者: 来源: www.bts668.com 微软日前公布了<神鬼寓言传奇>(Fable Legends),该游戏是此系列作品的新作,将作为Xbox One游戏出现. 这款由狮子头工作室开 ...

  2. Facebook 重金挖不到,ASP.NET 之父,微软大神“红衣教主”传奇

    作者 | 伍杏玲 出品 | CSDN (ID:CSDNnews) 2018 年底,微软"王者归来",时隔 16 年市值重返全球第一.人们纷纷用"力挽狂澜"&qu ...

  3. 乔布斯去世衍生多种周边产品(支持乔布斯请顶)

    各种乔布斯肖像 乔布斯公仔 乔布斯立体纸人 不管你是不是狂热的苹果粉丝,是不是拥有n多的苹果产品,苹果帮主乔布斯都应该值得我们纪念. "为什么说乔布斯改变了世界?没有 iPhone,就不会有 ...

  4. 一战封神!“中国飞人”苏炳添跑出9秒83到底有多牛?

    公众号后台回复"图书",了解更多号主新书内容作者:CDA数据分析师来源:CDA数据分析师 [导读] 在刚刚结束的东京奥运会百米飞人大战上,中国选手苏炳添在半决赛跑出9秒83,刷新了 ...

  5. 乔布斯导演的最后一幕

    连作者也说,他仅仅是这本书的写作者,真正的作者是乔布斯."中信出版社总编辑潘岳近日分享了<史蒂夫·乔布斯传>幕后的故事.这本传记预定期已达100万册,预估最终销量将达到500万册 ...

  6. 30本pdf完整版的经典Linux学习和开发教程和资料下载 android arm java 资料大全

    史上最牛的Linux内核学习方法论   点击下载 我的arm_linux移植笔记   点击下载 S3C2440完全开发流程   点击下载 Linux系统命令及其使用详解完整版   点击下载 Linux ...

  7. 30本pdf完整版的经典Linux学习和开发教程和资料下载 android arm java 资料大全...

    史上最牛的Linux内核学习方法论 点击下载 我的arm_linux移植笔记 点击下载 S3C2440完全开发流程 点击下载 Linux系统命令及其使用详解完整版 点击下载 Linux主要shell命 ...

  8. 养成励志的习惯,一生励志——文指星终极励志

    语言的突破全集 卡耐基 --励志经典     点击下载 人性的优点--卡耐基名著--励志经典     点击下载 人生格言精华总集     点击下载 人生定律与原则--励志经典     点击下载 厚黑学 ...

  9. 养成励志的习惯,一生励志

    语言的突破全集 卡耐基 --励志经典     点击下载 人性的优点--卡耐基名著--励志经典     点击下载 人生格言精华总集     点击下载 人生定律与原则--励志经典     点击下载 厚黑学 ...

  10. 【转】乔布斯经典语录

    2011年8月25日消息,乔布斯辞去了苹果公司CEO的职务.10月6日,传来了他去世的消息.在此缅怀乔帮主的同时,与大家分享乔布斯在世时的经典语录.(来自于<乔布斯传>--神一样的传奇的附 ...

最新文章

  1. 新年之际,最新摄影必备的无人机免费送10个给大家!
  2. Slide:深入了解Oracle自动内存管理ASMM by Maclean Liu
  3. 【剑指offer28:字符串的排列】【java】
  4. 【放置奇兵】封印之地各阵营boss和小怪属性
  5. GDCM:DICOM文件的覆盖测试程序
  6. 数据压缩 第四次作业
  7. C# 7 中的模范和实践
  8. 190906描述笔记
  9. 系统提示服务器响应错误,Win10系统无法打开软件提示“服务器没有及时响应或控制请求”错误的解决方法...
  10. 搜索,贪心,DP,三者的区别和联系
  11. Scihub永久链接
  12. checksum建立的索引
  13. AUTOCAD——超级填充
  14. 信号与系统实验八 音频信号的时域、频域观测分析与图像的幅频相频重构
  15. ResNet网络结构详解及代码复现
  16. Windows Server执行定时任务
  17. 闪电世界源码-闪电世界系统开发功能介绍
  18. 修改WINVER、_WIN32_WINNT和_MSC_VER
  19. 如何让android的service一直在后台运行?,保持service一直在后台运行
  20. 双位置继电器ST2-2L/AC220V

热门文章

  1. vh与vw的使用事项
  2. 【Learning Spring 5.0】001 Spring架构及Spring介绍
  3. RabbitMQ的消费限流
  4. 4、libgdx应用框架
  5. PLSQL程序编写杂烦数据表信息编写批量排版
  6. PowerDesigner使用教程【转】
  7. 唐骏管理学之感动员工
  8. .net操纵xml文件类(c#)
  9. 【ZK-curator使用异常】KeeperErrorCode = Unimplemented for /***
  10. MySQL下mysql.sock丢失问题的解决[ubuntu, linux, mysqld.sock]