就是这么迅猛的实现搜索需求--转
一、缘起
《深入浅出搜索架构(上篇)》详细介绍了:
(1)全网搜索引擎架构与流程
(2)站内搜索引擎架构与流程
(3)搜索原理与核心数据结构
本文重点介绍:
(4)流量数据量由小到大,常见搜索方案与架构变迁
(5)数据量、并发量、扩展性方案
只要业务有检索需求,本文一定对你有帮助。
二、检索需求的满足与架构演进
任何互联网需求,或多或少有检索需求,还是以58同城的帖子业务场景为例,帖子的标题,帖子的内容有很强的用户检索需求,在业务、流量、并发量逐步递增的各个阶段,应该如何实现检索需求呢?
原始阶段-LIKE
数据在数据库中可能是这么存储的:
t_tiezi(tid, title, content)
满足标题、内容的检索需求可以通过LIKE实现:
select tid from t_tiezi where content like ‘%天通苑%’
能够快速满足业务需求,存在的问题也显而易见:
(1)效率低,每次需要全表扫描,计算量大,并发高时cpu容易100%
(2)不支持分词
初级阶段-全文索引
如何快速提高效率,支持分词,并对原有系统架构影响尽可能小呢,第一时间想到的是建立全文索引:
alter table t_tiezi add fulltext(title,content)
使用match和against实现索引字段上的查询需求。
全文索引能够快速实现业务上分词的需求,并且快速提升性能(分词后倒排,至少不要全表扫描了),但也存在一些问题:
(1)只适用于MyISAM
(2)由于全文索引利用的是数据库特性,搜索需求和普通CURD需求耦合在数据库中:检索需求并发大时,可能影响CURD的请求;CURD并发大时,检索会非常的慢;
(3)数据量达到百万级别,性能还是会显著降低,查询返回时间很长,业务难以接受
(4)比较难水平扩展
中级阶段-开源外置索引
为了解决全文索的局限性,当数据量增加到大几百万,千万级别时,就要考虑外置索引了。外置索引的核心思路是:索引数据与原始数据分离,前者满足搜索需求,后者满足CURD需求,通过一定的机制(双写,通知,定期重建)来保证数据的一致性。
原始数据可以继续使用Mysql来存储,外置索引如何实施?Solr,Lucene,ES都是常见的开源方案。
楼主强烈推荐ES(ElasticSearch),原因是Lucene虽好,但始终有一些不足:
(1)Lucene只是一个库,潜台词是,需要自己做服务,自己实现高可用/可扩展/负载均衡等复杂特性
(2)Lucene只支持Java,如果要支持其他语言,还是得自己做服务
(3)Lucene不友好,这是很致命的,非常复杂,使用者往往需要深入了解搜索的知识来理解它的工作原理,为了屏蔽其复杂性,一个办法是自己做服务
…
…
为了改善Lucene的各项不足,解决方案都是“封装一个接口友好的服务,屏蔽底层复杂性”,于是有了ES:
(1)ES是一个以Lucene为内核来实现搜索功能,提供REStful接口的服务
(2)ES能够支持很大数据量的信息存储,支持很高并发的搜索请求
(3)ES支持集群,向使用者屏蔽高可用/可扩展/负载均衡等复杂特性
目前58到家使用ES作为核心,实现了自己的搜索服务平台,能够通过在平台上简单的配置,实现业务方的搜索需求。
搜索服务数据量最大的“接口耗时数据收集”需求,数据量大概在7亿左右;并发量最大的“经纬度,地理位置搜索”需求,线上平均并发量大概在600左右,压测数据并发量在6000左右。
结论:ES完全能满足10亿数据量,5k吞吐量的常见搜索业务需求,强烈推荐。
高级阶段-自研搜索引擎
当数据量进一步增加,达到10亿、100亿数据量;并发量也进一步增加,达到每秒10万吞吐;业务个性也逐步增加的时候,就需要自研搜索引擎了,定制化实现搜索内核了。
三、数据量、并发量、扩展性方案
到了定制化自研搜索引擎的阶段,超大数据量、超高并发量为设计重点,为了达到“无限容量、无限并发”的需求,架构设计需要重点考虑“扩展性”,力争做到:增加机器就能扩容(数据量+并发量)。
58同城的自研搜索引擎E-search初步架构图如下:
(1)上层proxy(粉色)是接入集群,为对外门户,接受搜索请求,其无状态性能够保证增加机器就能扩充proxy集群性能
(2)中层merger(浅蓝色)是逻辑集群,主要用于实现搜索合并,以及打分排序,业务相关的rank就在这一层实现,其无状态性也能够保证增加机器就能扩充merger集群性能
(3)底层searcher(暗红色大框)是检索集群,服务和索引数据部署在同一台机器上,服务启动时可以加载索引数据到内存,请求访问时从内存中load数据,访问速度很快
(3.1)为了满足数据容量的扩展性,索引数据进行了水平切分,增加切分份数,就能够无限扩展性能,如上图searcher分为了4组
(3.2)为了满足一份数据的性能扩展性,同一份数据进行了冗余,理论上做到增加机器就无限扩展性能,如上图每组searcher又冗余了2份
如此设计,真正做到做到增加机器就能承载更多的数据量,响应更高的并发量。
三、总结
为了满足搜索业务的需求,随着数据量和并发量的增长,搜索架构一般会经历这么几个阶段:
(1)原始阶段-LIKE
(2)初级阶段-全文索引
(3)中级阶段-开源外置索引
(4)高级阶段-自研搜索引擎
你的搜索架构到了哪一个阶段?数据量、并发量、好的经验欢迎分享?
欢迎留言,有问必答。
如果有收获,欢迎帮转。
四、下章预告
实时搜索引擎核心技术,站长发布1个新网页,Google如何做到15分钟后检索出来。
==【(中)完】==
转载于:https://www.cnblogs.com/davidwang456/p/7550098.html
就是这么迅猛的实现搜索需求--转相关推荐
- 一个搜索需求搞垮微服务
" 编程十几年,我只希望能把技术讲明白而已,当然能帮到各位更是深感荣幸 " 假如你是一名架构师或者技术领导人,一定要深深的知道,没有完美的技术方案,要不然编程技术早就万佛归一. 微 ...
- 华为云12·12直播EI专场即将开始,满足电商行业全场景搜索需求
国家统计局数据显示,2021年中国网上零售额已达130883亿元,网络购物已成为主要的零售渠道之一,电商行业发展日趋成熟.但另一方面,行业走向成熟,流量已达顶峰,新用户的拓展和增长越来越困难,想要进一 ...
- 根据用户的搜索需求,进行智能推送
给公司外网客用户做一个智能推送功能.实现的大致思路是如下: 1. 推送数据来源. a. 用户没有根据我们产品搜索条件查找产品的. 推送 随机的,类型丰富的产品 b. 有根据 我们设置 ...
- 1对多业务,数据库水平切分架构一次搞定 | 架构师之路
1对多业务,数据库水平切分架构一次搞定 | 架构师之路 原创 2017-07-10 58沈剑 架构师之路 架构师之路 架构师之路 微信号 road5858 功能介绍 架构师之路,坚持撰写接地气的架构文 ...
- [架构师之路] 深入浅出搜索引擎 系列
http://zhuanlan.51cto.com/art/201702/531315.htm 深入浅出搜索架构引擎.方案与细节(上) http://zhuanlan.51cto.com/art/20 ...
- 疫情之下“搜索+信息流”向上,百度移动生态的未来值得期待吗?
文|易牟 来源|螳螂财经(ID:TanglangFin) 2月28日早间,百度披露了Q4财报. 财报显示,Q4百度实现营收289亿元人民币,归属百度的净利润达到92亿元,同比增长95%.四季度经调整每 ...
- 国家自然科学基金委发布《网络空间大搜索技术白皮书》
终于拿到了<网络空间大搜索技术白皮书>的纸书和电子版.这份<白皮书>在国家自然科学基金委的指导下,多位院士主持参与,由北京邮电大学.国防科技大学.复旦大学.中科院计算所.中国电 ...
- 从远古时代的黄页到大搜索时代的神灯——搜索引擎一路走来
愚人节的时候,被朋友圈里转发的"百度神灯"炫得脑洞大开--原来搜索引擎可以做成这样子.后来虽然知道它是百度送给大家的"愚人节礼物",但是,我想百度所要表达的一定 ...
- 360发力移动搜索领域 推出“更顺手”的独立品牌“好搜”
360搜索宣布正式推出独立品牌 好搜 ,搜索引擎行业全新的搜索品牌就此诞生. 360总裁齐向东强调,此次推出独立品牌 好搜 ,在对PC端投入资源保持不变的同时,意在重点发力移动端. 近年来,移动互联网 ...
最新文章
- Docker+Jenkins持续集成环境(3)集成PMD、FindBugs、Checkstyle静态代码检查工具并邮件发送检查结果...
- c语言中switch语句流程图_C语言:C语言保留字(关键字)
- 微信小游戏背后的技术优化
- C#中'??'符的使用
- oracle sum详解,oracle sum()聚合函数
- mysql打印语句_抓取mysql、redis、mongodb、http等协议并打印语句
- Redmi Note 10系列细节曝光:有望4G/5G双版本齐发
- C Primer Plus怎样高效学?C语言大神案例值得借鉴!
- JBoss + EJB3 + MySql : 开发第一个EJB
- 简单的抓包_学习笔记
- GIS应用技巧之空间插值理论介绍
- 无法从“cstring”转换为“lpcstr”_别用Sketchup一个个转模型的版本了,用这些批量转换器真香…...
- cd linux安装驱动程序,给CDlinux增添网卡驱动失败的原因和对策
- Nginx事件管理之epoll模块
- 移动支付的发展优势有哪些?
- iOS - MFi 认证
- Android高性能日志模块-Xlog 正篇
- Hadoop服务器集群崩溃的解决方案
- 前端白屏问题_首页白屏的引发的思考(一)
- 微信小游戏越来越「重」,但它能赚钱么?
热门文章
- oracle经常开关好吗,oracle启动和关闭
- php的cookie的函数,php setcookie()函数的使用简介
- python kafka offset自动提交_Spring-Kafka —— 实现批量消费和手动提交offset
- sql server 中获取前一天日期_图解SQL面试题:如何比较日期数据?
- 请简述计算机软件系统与硬件系统的关系,电脑硬件与软件的关系是什么?
- 判断一个变量是不是指针
- delete语句与reference约束冲突怎么解决_mysql update语句和原数据一样会更新么
- staruml无法打开mdj文件_StarUML使用说明
- debian 文件夹中文件大小_Linux下查看文件和文件夹大小 删除日志
- android oppo调试模式,OPPO A59 开启USB调试模式