垂直搜索引擎的关键技术

对于搜索引擎有几个关键的技术词语，如：网页抓取，网页解析，索引存储，查询接口，结果排序等等。但是对垂直搜索来说，又有些不同，何为垂直搜索，我的理解是只需要针对某个领域内的几个特定的网站，进行信息抓取。这样一来减少了很多工作。

举个例子，我需要做一个提供工作信息的网站，而这个网站是集成了好几个网站的资料的，比如51job,智联招聘等。那么对于网页抓取的话，我的网站数据是固定数目，只需要对这几个指定的网站进行抓取就可以了。辟如每天晚上对这些网站进行抓取一次最新时间的招聘信息。

解析部分嘛，由于在垂直搜索中，我们需要的信息是固定的，比如招聘信息的属性是固定的，像公司名称，职位名称，简介，职位要求等。这些我们都可以认为是固定的。而我们要做的就是从固定的网页上解析出这些固定的属性就可以，这里可以用利用正则表达式来做，对于不同的网页，它的网页结构也是不同的，所以不同的网站需要有不同的解析方法。另外当某个网站的结构发生变化时，我们的正则表达式解析也需要做相应的改变。这是一个很麻烦的事情。

另外当抓取和解析的网站很多时，往往都是需要分布式的多台计算机来进行处理，这样就需要对这些任务进行分成多个组，如通过对不同的网站放在不同的计算机上，以达到一种并行计算的功能。

解析完后，就是存储这些信息，一个最简单的方式是把它保存到集中式数据库中的固定表结构中，然后再利用SQL语言来完成查询结果。这是一个比较简单的做法。但是如果当数据量比较大时，这时有可能就需要一种分布式文件系统来保存索引信息。像GOOGLE，baidu，就是这样做。而对于数据量不大的垂直搜索，可以采用前面的方法。

讲了一些基本的过程与原理，但是这里同样有难点，就是当网站的结构有变化时，我们就需要改变我们的解析程序，这是一个很头疼的问题，另外还有一些语义问题，可能同一个招聘信息在多个地方出现，如何判断是同一个信息，而不需要重复出现在用户面前。

垂直搜索引擎的关键技术相关推荐

计算机技术论文搜索引擎,垂直搜索引擎核心技术研究及展望论文
垂直搜索引擎核心技术研究及展望论文垂直搜索引擎与计算机领域多个方面的发展与应用息息相关,其关键技术更是促进计算机领域进一步发展的重要突破口.所以,对于垂直搜索引擎关键技术的研究具有十分重要的意义.我 ...
浅谈垂直搜索引擎技术
在搜索引擎成为web2.0发展的一道风景线的今天,为信息查找提供更有时效性.针对性.准确性的垂直搜索引擎越来越受到网络用户的青睐.本论文以垂直搜索为主题,介绍搜索引擎的发展及其现状,对比通用搜索引擎和 ...
垂直搜索引擎的存在意义
很多人,其实也包括我在一段时间,在质疑垂直搜索引擎的存在意义:都有了那么好的通用搜索引擎(如google baidu),还需要所谓垂直搜索引擎干吗? 其实,这里面有误解. 一. ...
分布式网络爬虫关键技术分析与实现一网络爬虫相关知识介绍
搜索引擎发展的历史过程与发展现状 1搜索引擎的发展的历史 1990年以前,没有任何人能搜索互联网.所有搜索引擎的祖先,是1990年由Montreal的McGill University学生Alan E ...
网络爬虫关键技术分析与实现
1搜索引擎的发展的历史 1990年以前,没有任何人能搜索互联网.所有搜索引擎的祖先,是1990年由Montreal的McGill University学生Alan Emtage,Peter Deuts ...
面向垂直行业的5G核心网关键技术演进分析
[摘要]为更好服务垂直行业,5G核心网在R16阶段开展包括5G LAN.URLLC.5G TSN和5G-V2X在内的多项关键技术研究,不断提升5G网络硬核能力.通过对这四个技术的应用场景和关键能力进 ...
虚拟专题：知识图谱 | 医学知识图谱构建关键技术及研究进展
来源:<大数据> 医学知识图谱构建关键技术及研究进展谭玲1, 鄂海红1, 匡泽民2, 宋美娜1, 刘毓1, 陈正宇1, 谢晓璇1, 李峻迪1, 范家伟1, 王晴川1, 康霄阳1 1 北京 ...
大型网站架构提速关键技术(页面静态化、memcached、Mysql优化)
大型网站关键技术介绍 1. pv值(page views),访问量大带来问题 a. 流量大 10000000*2m ->解决方案买带宽 ,优化程序(处理图片) b. 并发量,同时访问网站的人 ...
知识图谱关键技术总览
[1] 马忠贵,倪润宇,余开航.知识图谱的最新进展.关键技术和挑战[J].工程科学学报,2020,42(10):1254-1266.DOI:10.13374/j.issn2095-9389.2020. ...

垂直搜索引擎的关键技术

垂直搜索引擎的关键技术相关推荐

最新文章

热门文章