[转载] URL短网址生成算法原理

参考链接： URL 短地址Shorteners及其Python中的API 2

短网址（Short URL），是在形式上比较短的网址，通过映射关系跳转到原有的长网址。

本文转自米扑博客：URL短网址生成算法原理

通常用 php 或 python 转向，在Web 2.0的今天，不得不说，这是一个潮流。

自从twitter推出短网址(short url),继之国内各大微博跟风，google公开goo.gl使用API，短网址之风愈演愈烈。不得不说这是一个新兴又一大热门web2.0服务。

现整理一下，包括完整短网址网站，短网址生成原理，算法举例，以及优劣比较，同时还介绍几个phper个人实现的。

目前已经有许多类似服务，借助短网址您可以用简短的网址替代原来冗长的网址，让使用者可以更容易的分享链接。

例如：

短网址：http://t.cn/R3Krh36

长网址：https://blog.mimvp.com/article/25420.html

生成短网址：http://dwz.wailian.work/index.php

短网址服务，可能很多朋友都已经不再陌生，现在大部分微博、手机邮件提醒等地方已经有很多应用模式了，并占据了一定的市场。估计很多朋友现在也正在使用。

看过新浪的短连接服务，发现后面主要有6个字符串组成，于是第一个想到的就是原来公司写的一个游戏激活码规则，也就是下面的算法2，

1）26个大写字母 26小写字母，10个数字，随机生成6个然后插入数据库对应一个id，

2）短连接跳转的时候，根据字符串查询到对应id，即可实现相应的跳转

62种字符组合成6位字符，62^6=568亿个组合数量，重复的概率是很小的

短链接的好处

1、内容需要；2、用户友好；3、便于管理。

为什么要这样做的，原因我想有这样几点：

1）微博限制一条字数为140字，那么如果我们需要发一些连接上去，但是这个连接非常的长，以至于将近要占用我们内容的一半篇幅，这肯定是不能被允许的，所以短网址应运而生了。

2）短网址在项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖暴力、广告等信息，这样我们可以通过用户的举报，完全管理这些链接不出现在我们的应用中。因为同样的URL通过加密算法之后，得到的地址是一样的。

3）我们可以对一系列的网址进行流量，点击等统计，挖掘出大多数用户的关注点，这样有利于我们对项目的后续工作更好的作出决策。

算法原理

算法一

1) 将长网址md5生成32位签名串，分为4段，每段8个字节; 52c06085 c4529732 5433e0c7 5b140565

2) 对这四段循环处理，取8个字节，将他看成16进制串与0x3fffffff(30位1)与操作，即前缀超过30位的字符串做忽略处理，直接舍弃掉了;

3) 这30位分成6段，每5位的数字作为字母表的索引取得特定字符，依次进行获得6位字符串;

4) 总的md5串可以获得4个6位串，取里面的任意一个就可作为这个长url的短url地址;

这种算法，虽然会生成4个，但是仍然存在重复几率

PHP版本实现

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 function ShortUrl($input) { $base32 = array ( 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', '0', '1', '2', '3', '4', '5' ); $hex = md5($input); $hexLen = strlen($hex); $subHexLen = $hexLen / 8; // 划分为4段，保留4组结果 $resultArray = array(); for ($i = 0; $i < $subHexLen; $i++) { $subHex = substr ($hex, $i * 8, 8); // 分成4段，每段取8位字符 $int = 0x3FFFFFFF & (1 * ('0x'.$subHex)); // 8位字节与16进制取与操作 $out = ''; for ($j = 0; $j < 6; $j++) { $val = 0x0000001F & $int; // 取0~31之间的整数 $out .= $base32[$val]; // 从数组中获取对应字符 $int = $int >> 5; } $resultArray[] = $out; } return $resultArray; } echo "ShortUrl: " ; var_dump(ShortUrl("https://blog.mimvp.com/article/25420.html"));

运行结果：

1 2 3 4 5 6 7 ShortUrl: /Users/homer/Downloads/myCode/workspace/proxy_client/phpinfo.php:35: array (size=4) 0 => string '3ykjuq' (length=6) 1 => string '4tsnn5' (length=6) 2 => string 'mekmmj' (length=6) 3 => string 'uhn0rz' (length=6)

PHP 改进型

把固定长度6位，改进成动态调整的，如5、6、10、15位等，使其是30个质数之一

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 function ShortUrl($input, $length=6) { $base32 = array ( 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', '0', '1', '2', '3', '4', '5' ); $hex = md5($input); $hexLen = strlen($hex); $subHexLen = $hexLen / 8; // 划分为4段，保留4组结果 $resultArray = array(); for ($i = 0; $i < $subHexLen; $i++) { $subHex = substr ($hex, $i * 8, 8); // 分成4段，每段取8位字符 $int = 0x3FFFFFFF & (1 * ('0x'.$subHex)); // 8位字节与16进制取与操作 $out = ''; for ($j = 0; $j < $length; $j++) { $val = 0x0000001F & $int; // 取0~31之间的整数 $out .= $base32[$val]; // 从数组中获取对应字符 $int = $int >> (30/$length); } $resultArray[] = $out; } return $resultArray; } echo "ShortUrl: " ; var_dump(ShortUrl("https://blog.mimvp.com/article/25420.html", 10));

运行结果：

1 2 3 4 5 6 7 ShortUrl: /Users/homer/Downloads/myCode/workspace/proxy_client/phpinfo.php:35: array (size=4) 0 => string '3dmvkjrkbe' (length=10) 1 => string '4pjfmnvw4h' (length=10) 2 => string 'mrcucmrwsc' (length=10) 3 => string 'u4t0t0hytg' (length=10)

算法二

a-zA-Z0-9 这62位取6位组合，可产生62^6=568亿个组合数量，把数字和字符组合做一定的映射，就可以产生唯一的字符串，如第62个组合就是aaaaa9，第63个组合就是aaaaba，再利用洗牌算法，把原字符串打乱后保存，那么对应位置的组合字符串就会是无序的组合。

把长网址存入数据库，取返回的id，找出对应的字符串，例如返回ID为1，那么对应上面的字符串组合就是bbb，同理 ID为2时，字符串组合为bba，依次类推，直至到达62种组合后才会出现重复的可能，所以如果用上面的62个字符，任意取6个字符组合成字符串的话，你的数据存量达到500多亿后才会出现重复的可能。具体参看这里彻底完善新浪微博接口和超短URL算法，算法四可以算作是此算法的一种实现，此算法一般不会重复，但是如果是统计的话，就有很大问题，特别是对域名相关的统计，就抓虾了。

Java 版本实现

package com.mimvp;

import java.security.MessageDigest;

public class TestShortUrl {

public static void main(String[] args) {

String sLongUrl = "https://blog.mimvp.com/article/25420.html"; // 长链接

String[] aResult = shortUrl(sLongUrl);

// 打印出结果

for (int i = 0; i < aResult.length; i++) {

System.out.println("[" + i + "]:::" + aResult[i]);

}

public static String[] shortUrl(String url) {

// 要使用生成 URL 的字符

String[] chars = new String[] { "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p",

"q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "A",

"B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M", "N", "O", "P", "Q", "R", "S", "T", "U", "V",

"W", "X", "Y", "Z"

};

String key = "mimvp.com"; // 可以自定义生成 MD5 加密字符传前的混合加密key

String sMD5EncryptResult = CMyEncrypt.md5(key + url); // 对传入网址进行 MD5 加密，key是加密字符串

String hex = sMD5EncryptResult;

String[] resUrl = new String[4];

for (int i = 0; i < 4; i++) {

// 把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算

String sTempSubString = hex.substring(i * 8, i * 8 + 8);

// 这里需要使用 long 型来转换，因为 Inteter.parseInt() 只能处理 31 位 , 首位为符号位 , 如果不用 long ，则会越界

long lHexLong = 0x3FFFFFFF & Long.parseLong(sTempSubString, 16);

String outChars = "";

for (int j = 0; j < 6; j++) {

long index = 0x0000003D & lHexLong; // 把得到的值与 0x0000003D 进行位与运算，取得字符数组 chars 索引

outChars += chars[(int) index]; // 把取得的字符相加

lHexLong = lHexLong >> 5; // 每次循环按位右移 5 位

}

resUrl[i] = outChars; // 把字符串存入对应索引的输出数组

}

return resUrl;

}

class CMyEncrypt {

// 十六进制下数字到字符的映射数组

private final static String[] hexDigits = { "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "A", "B", "C", "D", "E", "F" };

/** 把inputString加密 */

public static String md5(String inputStr) {

return encodeByMD5(inputStr);

}

/**

* 验证输入的密码是否正确

* @param password 真正的密码（加密后的真密码）

* @param inputString 输入的字符串

* @return 验证结果，boolean类型

public static boolean authenticatePassword(String password, String inputString) {

if (password.equals(encodeByMD5(inputString))) {

return true;

} else {

return false;

}

/** 对字符串进行MD5编码 */

private static String encodeByMD5(String originString) {

if (originString != null) {

try {

// 创建具有指定算法名称的信息摘要

MessageDigest md5 = MessageDigest.getInstance("MD5");

// 使用指定的字节数组对摘要进行最后更新，然后完成摘要计算

byte[] results = md5.digest(originString.getBytes());

// 将得到的字节数组变成字符串返回

String result = byteArrayToHexString(results);

return result;

} catch (Exception e) {

e.printStackTrace();

}

return null;

}

/**

* 轮换字节数组为十六进制字符串

* @param b 字节数组

* @return 十六进制字符串

private static String byteArrayToHexString(byte[] b) {

StringBuffer resultSb = new StringBuffer();

for (int i = 0; i < b.length; i++) {

resultSb.append(byteToHexString(b[i]));

}

return resultSb.toString();

}

// 将一个字节转化成十六进制形式的字符串

private static String byteToHexString(byte b) {

int n = b;

if (n < 0) {

n = 256 + n;

}

int d1 = n / 16;

int d2 = n % 16;

return hexDigits[d1] + hexDigits[d2];

}

public static void main(String[] args) {

CMyEncrypt.md5("https://blog.mimvp.com/about");

}

运行结果：

执行上面代码，输出的结果如下，会产生4 组6位字符串，任意一组都可以作为当前字符串的短链接地址。

[0]:::VFvAr2

[1]:::iiI3a2

[2]:::Z3EvEv

[3]:::jMjU3a

PHP 随机数版

原理：指定长度，做多次循环，每次从长字符串里随机取出一位字符，组合成指定长度字符串即可

function random($length, $pool = '') {

$random = '';

if (empty ( $pool )) {

$pool = 'abcdefghkmnpqrstuvwxyz';

$pool .= '23456789';

}

srand ( ( double ) microtime () * 1000000 );

for($i = 0; $i < $length; $i ++) {

$random .= substr ( $pool, (rand () % (strlen ( $pool ))), 1 ); // 获取pool字符串中的随机一位字符，包含小数点、反斜杠等

}

return $random;

}

echo "random: " . random(6, "https://blog.mimvp.com");

运行结果：

random: ipcblc

random: mst/o:

跳转原理

当我们生成短链接之后，只需要在数据库MySQL 或 NoSQL表中，存储原始链接与短链接的映射关系即可。

当我们访问短链接时，只需要从映射关系中找到原始链接，即可跳转到原始链接。

例如：

短网址：http://t.cn/R3Krh36 （存储长链接的映射）

长网址：https://blog.mimvp.com/article/25420.html

[转载] URL短网址生成算法原理相关推荐

php短网址生成算法
<?php //短网址生成算法 class ShortUrl {//字符表public static $charset = "0123456789ABCDEFGHIJKLMNOPQRS ...
php微信短网址生成,微信公众号实现长链接转短链接！w.url.cn短网址生成
微信公众号开发者平台提供短网址生成的API,最终生成的短网址是w.url.cn的,下面是详细的代码. 官方文档 https://developers.weixin.qq.com/doc/offiacc ...
最新短网址生成api接口(t.cn、url.cn短链接生成)
简要说明短网址生成api接口有很多种,不同的接口生成的短网址格式也不同,比如常见的t.cn.url.cn.w.url.cn等格式.总而言之短链接接口就是用来将一个冗长的链接缩短成15个字符以内的短链 ...
url短网址 java_url.cn短网址生成api接口（腾讯短链接url生成）
分享几个最新的url.cn短网址生成api接口,快速生成url.cn超短链接,接口都可以正常调用,觉得不错可以收藏一下. 请求地址: 使用说明: 将api接口地址中"http://www.b ...
PHP短网址生成系统/短链接生成系统/URL缩短器系统源码免费下载
源码介绍: 没有教程.我也没有测试全新PHP短网址系统URL缩短器平台,它使您可以轻松地缩短链接, 根据受众群体的位置或平台来定位受众,并为缩短的链接提供分析见解. 系统使用了Laravel框架编写 ...
短链接生成-短网址生成-短网址生成接口-短网址URL生成-短链接-短链接URL生成接口
短链接生成-短网址生成-短网址生成接口-短网址URL生成-短链接-短链接URL生成接口[最新版]_数据API_数据应用-云市场-阿里云如何生成短网址,短链接? 这为我们短信节约了巨额的成本 publ ...
Java调用百度短网址生成短链接
1. 方式一直接在线生成 https://dwz.cn/ 2. 方式二调用接口生成引入gson-2.8.5.jar 可以通过maven仓库搜索下载地址 http://central.maven. ...
[JAVA VC] 短网址生成，HTTP请求，随想
关于短网址: 最近比较流行短网址,所谓短网址,就是通过算法把长网址转换成短字符,然后映射到短网址服务器缓存或数据库里.当访问短网址的时候自动从数据库里取出映射的原网址. ...
Spring Cloud Gateway网关实现短网址生成、解析、转发
Spring Cloud Gateway网关实现短网址生成.解析.转发 1.概述 2.基础实现 3.路由处理HandlerFunction 4.配置路由 5.测试 1.概述在一些生成二维码等场景中, ...

[转载] URL短网址生成算法原理

[转载] URL短网址生成算法原理相关推荐

最新文章

热门文章