短 URL 服务的设计以及实现
背景
想必大家也经常收到垃圾短信吧……短信中的链接一般都是短链接,类似于下图这样:
为什么这里面的URL都是短的呢?有什么好处呢?怎么做到的呢?
端 URL 的好处
短信和许多平台(微博)有字数限制 ,太长的链接加进去都没有办法写正文了。
好看。 比起一大堆不知所以的参数,短链接更加简洁友好。
方便做一些统计。 你点了链接会有人记录然后分析的。
安全。 不暴露访问参数。
这就是为什么我们现在收到的垃圾短信大多数都是短URL的原因了。
那么短URL是怎么做到的呢?
短 URL 基础原理
短URL从生成到使用分为以下几步:
有一个服务,将要发送给你的长URL对应到一个短URL上.例如www.baidu.com -> www.t.cn/1。
把短URL拼接到短信等的内容上发送。.
用户点击短URL,浏览器用301/302进行重定向,访问到对应的长URL。
展示对应的内容。
本文主要集中于第一步,即如何将一个长URL对应到短URL上。
服务设计
如果你在往长短URL真实的对应关系上想,那么就走远了。
最理想的情况是:我们用一种算法,对每一个长URL,唯一的转换成短URL。还能保持反向转换的能力。
但是这是不可能的,如果有这样的算法,世界上的所有压缩算法都可以原地去世了。
正确的思路是建立一个发号器,每次有一个新的长URL进来,我们就增加一,并且将新的数值返回。第一个来的URL返回"www.x.cn/0",第二个返回"www.x.cn/1"。
接下来以QA形式写几个小问题:
对应关系如何存储?
这个对应数据肯定是要落盘的,不能每次系统重启就重新排号,所以可以采用mysql等数据库来存储。而且如果数据量小且qps低,直接使用数据库的自增主键就可以实现。
如何保证长短链接一一对应?
按照上面的发号器策略,是不能保证长短链接的一一对应的,你连续用同一个URL请求两次,结果值都是不一样的。
为了实现长短链接一一对应,我们需要付出很大的空间代价,尤其是为了快速响应,我们可以需要在内存中做一层缓存,这样子太浪费了。
但是可以实现一些变种的,来实现部分的一一对应,比如将最近/最热门的对应关系存储在K-V数据库中,这样子可以节省空间的同时,加快响应速度。
短URL的存储
我们返回的短URL一般是将数字转换成32进制,这样子可以更加有效的缩短URL长度,那么32进制的数字对计算机来说只是字符串,怎么存储呢?直接存储字符串对等值查找好找,对范围查找等太不友好了。
其实可以直接存储10进制的数字,这样不仅占用空间少,对查找的支持较好,同时还可以更加方便的转换到更多/更少的进制来进一步缩短URL。
高并发
如果直接存储在MySQL中,当并发请求增大,对数据库的压力太大,可能会造成瓶颈,这时候是可以有一些优化的。
缓存
上面保证长短链接一一对应中也提到过缓存,这里我们是为了加快程序处理速度。可以将热门的长链接(需要对长链接进来的次数进行计数),最近的长链接(可以使用redis保存最近一个小时的)等等进行一个缓存,保存在内存中或者类似redis的内存数据库中,如果请求的长URL命中了缓存,那么直接获取对应的短URL进行返回,不需要再进行生成操作。
批量发号
每一次发号都需要访问一次MySQL来获取当前的最大号码,并且在获取之后更新最大号码,这个压力是比较大的。
我们可以每次从数据库获取10000个号码,然后在内存中进行发放,当剩余的号码不足1000时,重新向MySQL请求下10000个号码,在上一批号码发放完了之后,批量进行写入。
这样可以将对数据库持续的操作移到代码中进行,并且异步进行获取和写入操作,保证服务的持续高并发。
分布式
上面设计的系统是有单点的,那就是发号器是个单点,容易挂掉。
可以采用分布式服务,分布式的话,如果每一个发号器进行发号之后都需要同步给其他发号器,那未必也太麻烦了。
换一种思路,可以有两个发号器,一个发单号,一个发双号,发号之后不再是递增1,而是递增2。
类比可得,我们可以用1000个服务,分别发放0-999尾号的数字,每次发号之后递增1000。这样做很简单,服务互相之间基本都不用通信,做好自己的事情就好了。
实现
由于我懒得写JDBC代码,更懒得弄Mybatis,所以代码中使用到MySQL的地方都使用了Redis。
package util;import redis.clients.jedis.Jedis;/*** Created by pfliu on 2019/06/23.*/
public class ShortURLUtil {private static final String SHORT_URL_KEY = "SHORT_URL_KEY";private static final String LOCALHOST = "http://localhost:4444/";private static final String SHORT_LONG_PREFIX = "short_long_prefix_";private static final String CACHE_KEY_PREFIX = "cache_key_prefix_";private static final int CACHE_SECONDS = 1 * 60 * 60;private final String redisConfig;private final Jedis jedis;public ShortURLUtil(String redisConfig) {this.redisConfig = redisConfig;this.jedis = new Jedis(this.redisConfig);}public String getShortURL(String longURL, Decimal decimal) {// 查询缓存String cache = jedis.get(CACHE_KEY_PREFIX + longURL);if (cache != null) {return LOCALHOST + toOtherBaseString(Long.valueOf(cache), decimal.x);}// 自增long num = jedis.incr(SHORT_URL_KEY);// 在数据库中保存短-长URL的映射关系,可以保存在MySQL中jedis.set(SHORT_LONG_PREFIX + num, longURL);// 写入缓存jedis.setex(CACHE_KEY_PREFIX + longURL, CACHE_SECONDS, String.valueOf(num));return LOCALHOST + toOtherBaseString(num, decimal.x);}/*** 在进制表示中的字符集合*/final static char[] digits = {'0', '1', '2', '3', '4', '5', '6', '7', '8','9', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L','M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y','Z', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z'};/*** 由10进制的数字转换到其他进制*/private String toOtherBaseString(long n, int base) {long num = 0;if (n < 0) {num = ((long) 2 * 0x7fffffff) + n + 2;} else {num = n;}char[] buf = new char[32];int charPos = 32;while ((num / base) > 0) {buf[--charPos] = digits[(int) (num % base)];num /= base;}buf[--charPos] = digits[(int) (num % base)];return new String(buf, charPos, (32 - charPos));}enum Decimal {D32(32),D64(64);int x;Decimal(int x) {this.x = x;}}public static void main(String[] args) {for (int i = 0; i < 100; i++) {System.out.println(new ShortURLUtil("localhost").getShortURL("www.baidudu.com", Decimal.D32));System.out.println(new ShortURLUtil("localhost").getShortURL("www.baidu.com", Decimal.D64));}}
}
作者:翁智华
https://www.cnblogs.com/wzh2010/p/14454954.html
短 URL 服务的设计以及实现相关推荐
- 短URL服务的设计以及实现
点击上方"后端技术精选",选择"置顶公众号" 技术文章第一时间送达! 作者:呼延十 juejin.im/post/5d10ecab518825795a4d380 ...
- 系统设计 (二)设计类似TinyURL的短URL服务
让我们设计一个类似TinyURL的短URL服务.此服务将提供重定向到长URL的短URL别名.类似服务:bit.ly.goo.gl.qlink.me等. 1.为什么我们需要缩短URL? URL缩短用于为 ...
- 微服务中的短信服务如何设计?
发送短信功能,在开发过程中是最常见的需求.用户登录验证码的发送,活动促销短信的发送等.本Chat将带领你深入的去学习如何设计和实现一个通用的基础短信服务,采用Spring Boot开发短信服务,最终会 ...
- 阿里二面:如何设计与实现短URL服务?
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! https://juejin.im/post/684490 ...
- 每个公司都会用的短 URL 服务,怎么设计与实现?
点击上方"方志朋",选择"设为星标" 做积极的人,而不是积极废人 来源:http://t.cn/AilftMhR 前言 短URL基础原理 服务设计 实现 前言 ...
- 短 URL 服务,怎么设计与实现?
点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 作者 | 呼延十 来源 | http://t.cn/Ai ...
- jfinal获取url链接上面传来的string类型的值_每个公司都会用的短 URL 服务,怎么设计与实现?...
点击上方"芋道源码",选择"设为星标" 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 8:55 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | J ...
- 答面试官问:如何设计短url服务
什么是短url 短url, 顾名思义,就是将长网址缩短到一个很短的网址,用户访问这个短网址可以重定向到原本的长网址(还原).这样可以达到易于记忆.转换的目的,还有隐藏链接参数,利于短信推广的作用,常用 ...
- 短链接服务架构设计概览
目录 一.为什么需要短链接 二.使用短链接的一些典型场景 2.1 字数限制场景 2.1.1 微博内容 2.1.2 用户短信 2.2 短链接二维码 2.3 无法识别长链接场景 三.短链接生成方案 四.短 ...
最新文章
- Netty序章之BIO NIO AIO演变
- BCH半月热点事件回顾
- matlab一句一句调试,matlab程序怎样调试和运行
- 商业领袖摘下帽子才能炼成极致
- 【freemaker】之include,import区别
- (转)KMP算法原理讲解及模板C实现
- 工业三防手持终端如何选
- CSS学习-网页导航栏
- 什么是mysql的索引_什么是MySQL索引?【详解】
- python模块typing的作用
- java如何判断当前系统是windows还是linux?
- gifrecord可以卸载吗_频繁的安装和卸载app会不会伤害苹果手机?
- python连接sql_Python连接DB2数据库
- 想旷工被单位开除领取失业金,可是单位不但不开除还给交社保,该怎么办?
- 操作手机_适合单手操作的手机,它们是王者
- 安全篇 ━━ ITlearner ASP探针 V1.2
- 【转】强大的矩阵奇异值分解(SVD)及其应用
- Go避免使用大堆造成的高GC开销
- 如何设计管理员和用户登录界面C语言,管理员登录设计(第7节)
- BZOJ 1208 宠物收养所(set 或者 splay)
热门文章
- conda 装tensorboardx_【工欲善其事】TensorboardX的使用
- axure 下拉多选 元件_Axure教程:下拉多选列表集合(多选下拉列表+单选下拉列表+分级下拉列表)...
- 在 Linux 中用Seahorse管理你的密码和加密密钥
- kafka 主动消费_SpringBoot2 整合Kafka组件,应用案例和流程详解
- java if and_Java运算符-if分支语句
- 关于列表标签的一些使用(有序,无序,自定义列表)
- P3797 妖梦斩木棒 线段树区间合并
- 数位dp ---- 2020 icpc 上海 Sum of Log(枚举高位的二进制数位dp)
- 音乐与现代计算机技术,计算机技术在音乐教学中应用与研究.doc
- java基础 多维数组_java基础:3.2 多维数组