面试官:如何实现一个高性能的,短链接生成服务?(附源码)
回复“1024”或“面试题”获取4T学习资料
面试官:你平时是否留意过一些短信中包含短链接?
小菜鸡:有的,喏,就是这样的!
面试官:为什么选择这种方式?有什么好处?如果让你实现一个短链接的生成服务,你会怎么设计?
短url的好处有:
1、短. 短信和许多平台(微博)有字数限制,太长的链接加进去都没有办法写正文了. 2、好看. 比起一大堆不知所以的参数,短链接更加简洁友好. 3、方便做一些统计.你点了链接会有人记录然后分析的. 4、安全. 不暴露访问参数.
这就是为什么我们现在收到的垃圾短信大多数都是短URL的原因了.
那么短URL是怎么做到的呢?
短URL基础原理
短URL从生成到使用分为以下几步.
1、有一个服务,将要发送给你的长URL对应到一个短URL上.例如 www.baidu.com->www.t.cn/1
2、把短url拼接到短信等的内容上发送
3、用户点击短URL,浏览器用301/302进行重定向,访问到对应的长URL
4、展示对应的内容
本文主要集中于第一步,即如何将一个长URL对应到短URL上
服务设计
如果你在往长短URL真实的对应关系上想,那么就走远了.
最理想的情况是: 我们用一种算法,对每一个长URL,唯一的转换成短URL.还能保持反向转换的能力.
但是这是不可能的,如果有这样的算法,世界上的所有压缩算法都可以原地去世了.
正确的思路是建立一个发号器,每次有一个新的长URL进来,我们就增加一,并且将新的数值返回.第一个来的url返回" www.x.cn/0
",第二个返回" www.x.cn/1
".
接下来以QA形式写几个小问题:
对应关系如何存储?
这个对应数据肯定是要落盘的,不能每次系统重启就重新排号,所以可以采用mysql等数据库来存储.而且如果数据量小且qps低,直接使用数据库的自增主键就可以实现.
如何保证长短链接一一对应?
按照上面的发号器策略,是不能保证长短链接的一一对应的,你连续用同一个URL请求两次,结果值都是不一样的.
为了实现长短链接一一对应,我们需要付出很大的空间代价,尤其是为了快速响应,我们可以需要在内存中做一层缓存,这样子太浪费了.
但是可以实现一些变种的,来实现部分的一一对应, 比如将最近/最热门的对应关系存储在K-V数据库中,这样子可以节省空间的同时,加快响应速度.
短URL的存储
我们返回的短URL一般是将数字转换成32进制,这样子可以更加有效的缩短URL长度,那么32进制的数字对计算机来说只是字符串,怎么存储呢?直接存储字符串对等值查找好找,对范围查找等太不友好了.
其实可以直接存储10进制的数字,这样不仅占用空间少,对查找的支持较好,同时还可以更加方便的转换到更多/更少的进制来进一步缩短URL.
高并发
如果直接存储在MySQL中,当并发请求增大,对数据库的压力太大,可能会造成瓶颈,这时候是可以有一些优化的.
缓存
上面保证长短链接一一对应中也提到过缓存,这里我们是为了加快程序处理速度.可以将热门的长链接(需要对长链接进来的次数进行计数),最近的长链接(可以使用redis保存最近一个小时的)等等进行一个缓存,保存在内存中或者类似redis的内存数据库中,如果请求的长URL命中了缓存,那么直接获取对应的短URL进行返回,不需要再进行生成操作.
批量发号
每一次发号都需要访问一次MySQL来获取当前的最大号码,并且在获取之后更新最大号码,这个压力是比较大的.
我们可以每次从数据库获取10000个号码,然后在内存中进行发放,当剩余的号码不足1000时,重新向MySQL请求下10000个号码.在上一批号码发放完了之后,批量进行写入.
这样可以将对数据库持续的操作移到代码中进行,并且异步进行获取和写入操作,保证服务的持续高并发.
分布式
上面设计的系统是有单点的,那就是发号器是个单点,容易挂掉.
可以采用分布式服务,分布式的话,如果每一个发号器进行发号之后都需要同步给其他发号器,那未必也太麻烦了.
换一种思路,可以有两个发号器,一个发单号,一个发双号,发号之后不再是递增1,而是递增2.
类比可得,我们可以用1000个服务,分别发放0-999尾号的数字,每次发号之后递增1000.这样做很简单,服务互相之间基本都不用通信,做好自己的事情就好了.
实现
由于我懒得写JDBC代码,更懒得弄Mybatis,所以代码中使用到MySQL的地方都使用了Redis.
package util;
import redis.clients.jedis.Jedis;
/** * Created by pfliu on 2019/06/23. */
public class ShortUrlUtil { private static final String SHORT_URL_KEY = "SHORT_URL_KEY"; private static final String LOCALHOST = "http://localhost:4444/"; private static final String SHORT_LONG_PREFIX = "short_long_prefix_"; private static final String CACHE_KEY_PREFIX = "cache_key_prefix_"; private static final int CACHE_SECONDS = 1 * 60 * 60; private final String redisConfig; private final Jedis jedis; public ShortUrlUtil(String redisConfig) { this.redisConfig = redisConfig; this.jedis = new Jedis(this.redisConfig); } public String getShortUrl(String longUrl, Decimal decimal) { // 查询缓存 String cache = jedis.get(CACHE_KEY_PREFIX + longUrl); if (cache != null) { return LOCALHOST + toOtherBaseString(Long.valueOf(cache), decimal.x); } // 自增 long num = jedis.incr(SHORT_URL_KEY); // 在数据库中保存短-长URL的映射关系,可以保存在MySQL中 jedis.set(SHORT_LONG_PREFIX + num, longUrl); // 写入缓存 jedis.setex(CACHE_KEY_PREFIX + longUrl, CACHE_SECONDS, String.valueOf(num)); return LOCALHOST + toOtherBaseString(num, decimal.x); } /** * 在进制表示中的字符集合 */ final static char[] digits = {'0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z'}; /** * 由10进制的数字转换到其他进制 */ private String toOtherBaseString(long n, int base) { long num = 0; if (n < 0) { num = ((long) 2 * 0x7fffffff) + n + 2; } else { num = n; } char[] buf = new char[32]; int charPos = 32; while ((num / base) > 0) { buf[--charPos] = digits[(int) (num % base)]; num /= base; } buf[--charPos] = digits[(int) (num % base)]; return new String(buf, charPos, (32 - charPos)); } enum Decimal { D32(32), D64(64); int x; Decimal(int x) { this.x = x; } } public static void main(String[] args) { for (int i = 0; i < 100; i++) { System.out.println(new ShortUrlUtil("localhost").getShortUrl("www.baidudu.com", Decimal.D32)); System.out.println(new ShortUrlUtil("localhost").getShortUrl("www.baidu.com", Decimal.D64)); } }
}
来源:http://suo.im/4TCDlq
》》》福利 + 程序员工作内推群《《《
2、惊呆了,Spring Boot居然这么耗内存!
3、Java分布式 RPC 框架性能大比拼,Dubbo真的最差吗?
4、懂点 Nginx 如何实现反向代理与负载均衡,是面试加分项
5、面试官:SpringBoot jar 可执行原理,知道吗?
6、很高兴!终于在生产上踩到了慢查询优化的坑
面试官:如何实现一个高性能的,短链接生成服务?(附源码)相关推荐
- 【博主推荐】HTML制作一个美观的个人简介网页(附源码)
文章目录 HTML制作一个美观的个人简介网页 模块1(个人信息)示例图 模块2(基本资料)示例图 模块3(项目经验)示例图 模块4(专业技能)示例图 模块5(工作经历)示例图 模块6(自我评价)示例图 ...
- c语言跳一跳辅助源码,.NET 开发一个微信跳一跳辅助程序(附源码)
原标题:.NET 开发一个微信跳一跳辅助程序(附源码) 来源:中国.NET研究协会 cnblogs.com/dotnet-org-cn/p/8149693.html 前言 微信更新了,出现了一个小游戏 ...
- 面试官问:除了ArrayList你还看过哪些List源码
我习惯了无所谓,却不是真的什么都不在乎. 请关注:源码猎人 目录 简介 LinkedList 源码解读 LinkedList父类 AbstractSequentialL ...
- 基于电商直播SDK快速实现一个淘宝直播APP【内附源码】
现在各大互联网APP都标配电商直播带货了,没有直播带货开发经验都感觉自己跟不上技术的进步.今天快速基于Java实现一个安卓端电商直播APP,深入理解整个电商直播开发流程.我们最终实现效果如下: 按照惯 ...
- 基于 SpringBoot 开发的在线短链生成系统(附源码)
前言 分享一个基于 SpringBoot 开发的在线短链生成系统,在线短链接生成器. 完整项目源码在文章结尾处,大家自行下载即可~ 一.实现功能 1.将长链接转换成短链接,访问短链接时, 302重定向 ...
- 动手自己写一个 xcode 插件(Xcode Source Editor Extensions)附源码
2019独角兽企业重金招聘Python工程师标准>>> 动手自己写一个 xcode插件 (暂时需要注释功能,所以简单的写一个注释插件) -----Xcode Source Edit ...
- 一个简单的Java计时器项目,附源码
学Java开发的小伙伴都会想着做一些项目来检验自己的学习成果,今天小千就来分享一个简单的Java计时器项目,源码也放在文中,大家可以参考一下. Java计时器项目 开发环境:win8+eclipse+ ...
- AI实战!开源一个机器学习/情感分析实战项目(附源码/教程)|湾区人工智能...
分享一个在公司做的机器学习文本分类项目的demo,该分类项目是一个通用的文本分类项目,这里的数据集我酒店用户评价数据,分类模型为二分类,正面评价和负面评价,这里所说的通用,就是你可以根据你自己的数据, ...
- 从零教你实现一个小说和漫画在线阅读网站[附源码]
今天给大家推荐的这个开源项目是一个基于 SpringBoot 实现的小说和漫画在线阅读网站. 这个开源项目叫:fiction_house. 这个开源项目是一个多平台(web.安卓 app.微信小程序) ...
最新文章
- 第四周项目一-求两个数的最大公约数
- java8 lambda python_【学习笔记】java8 Lambda表达式语法及应用
- [论文阅读] (04) 人工智能真的安全吗?浙大团队外滩大会分享AI对抗样本技术
- phpstorm增加swoole自动提示
- 小心!你的脸正在成为色情片主角
- 综合布线系统计算机网络,综合布线 计算机网络系统
- 启动tomcat8时出现springfox.documentation.spi.service.contexts.OperationContext.headers()Ljava/util/Set;错误
- 聊天类APP的测试点
- 香蕉派安装64位linux,BANANA PI 入门:香蕉派如何安装系统
- Windows平台实现真实时毫秒级4K H264/H265直播技术(硬编码技术方案)
- C#序列化和反序列化到底是什么意思
- SPSS如何使用基础功能?
- async await 处理异步变同步(微信小程序内举例)
- 如何看待 12 月 26 日发布的华为云 WeLink 企业智能工作平台?能对标得过企业微信和钉钉吗?
- mac Axure RP 8 授权码 以及汉化
- 千克与磅之间的转换 Exercise05_05
- 20071011听力原文
- ubuntu18.04解决问题:is not a supported wheel on this platform(已解决)--用python3.8安装crala0.9.13时出现
- 知乎zse-96算法-js补环境方案
- 打开浏览器的同时会在主页外同时打开芒果TV,抖音等网站