《算法图解》学习笔记（十一）：十种经典的算法与数据结构

python学习之路 - 从入门到精通到大师

文章目录

[python学习之路 - 从入门到精通到大师](https://blog.csdn.net/TeFuirnever/article/details/90017382)
一、树
二、反向索引
三、傅里叶变换
四、并行算法
五、MapReduce
- 1）分布式算法为何很有用
- 2）映射函数
- 3）归并函数
六、布隆过滤器和HyperLogLog
- 1）布隆过滤器
- 2）HyperLogLog
七、SHA 算法
- 1）比较文件
- 2）检查密码
八、局部敏感的哈希算法
九、Diffie-Hellman 密钥交换
十、线性规划
十一、总结
参考文章

一、树

在二分查找（《算法图解》学习笔记（一）：二分查找（附代码））示例中，每当用户登录Facebook时，Facebook都必须在一个庞大的数组中查找，核实其中是否包含指定的用户名。而在这种数组中查找时，最快的方式是二分查找，但问题是每当有新用户注册时，都必须将其用户名插入该数组并重新排序，因为 二分查找仅在数组有序时才管用。如果能将用户名插入到数组的正确位置就好了，这样就无需在插入后再排序。

为此，有人设计了一种名为 二叉查找树（binary search tree） 的数据结构。

二叉查找树类似于下面这样。

对于其中的每个节点，左子节点的值都比它小，而右子节点的值都比它大。

假设你要查找Maggie，为此，首先检查根节点。

Maggie排在David的后面，因此你往右边找。

Maggie排在Manning前面，因此你往左边找。

终于找到了Maggie！这几乎与二分查找一样！

在二叉查找树中查找节点时，平均运行时间为O(log n)，但在最糟的情况下所需时间为O(n)；
而在有序数组中查找时，即便是在最糟情况下所需的时间也只有O(log n)。

因此你可能认为有序数组比二叉查找树更佳。然而，二叉查找树的插入和删除操作的速度要快得多。

二叉查找树也存在一些缺点，例如，不能随机访问，就像不能这么说：“给我第五个元素”。还有在二叉查找树处于平衡状态时，平均访问时间也为O(log n)。

假设二叉查找树像下面这样处于不平衡状态。

注意，这棵树是向右倾斜的，因此性能不佳。

也有一些处于平衡状态的特殊二叉查找树，如红黑树。

那在什么情况下使用二叉查找树呢？B树是一种特殊的二叉树，数据库常用它来存储数据。

如果你对数据库或高级数据结构感兴趣，请研究如下数据结构：B树，红黑树，堆，伸展树。

二、反向索引

这里非常简单地说说搜索引擎的工作原理。

假设你有三个网页，内容如下。

我们根据这些内容创建一个哈希表。（《算法图解》学习笔记（五）：哈希表，小名散列表（附代码））

这个哈希表的键为单词，值为包含指定单词的页面。现在假设有用户搜索 hi，在这种情况下，搜索引擎需要检查哪些页面包含 hi。

搜索引擎发现页面A和B包含 hi，因此将这些页面作为搜索结果呈现给用户。再假设现在用户搜索 there。通过哈希表，你就知道了页面A和C包含它。非常简单，不是吗？这是一种很有用的数据结构：一个哈希表，将单词映射到包含它的页面。这种数据结构被称为 反向索引（inverted index），常用于创建搜索引擎。

如果你对搜索感兴趣，从 反向索引 着手研究是不错的选择。

三、傅里叶变换

绝妙、优雅且应用广泛的算法少之又少，傅里叶变换 算是一个。

Better Explained是一个杰出的网站，致力于以通俗易懂的语言阐释数学，它就 傅里叶变换 做了一个绝佳的比喻：给它一杯冰沙，傅里叶变换能告诉你，其中包含哪些成分。换言之，给定一首歌曲，傅里叶变换能够将其中的各种频率分离出来。

这种理念虽然简单，应用却极其广泛。例如，如果能够将歌曲分解为不同的频率，就可强化你关心的部分，如强化低音并隐藏高音。傅里叶变换非常适合用于处理信号，可使用它来压缩音乐。为此，首先需要将音频文件分解为音符。傅里叶变换能够准确地指出各个音符对整个歌曲的贡献，让你能够将不重要的音符删除，这就是 MP3格式的工作原理！数字信号并非只有音乐一种类型。JPG也是一种压缩格式，也采用了刚才说的工作原理。傅里叶变换还被用来地震预测和DNA分析。使用傅里叶变换还可创建类似于Shazam这样的 音乐识别软件。

傅里叶变换的用途极其广泛，你遇到它的可能性极高！

四、并行算法

我们身处一个处理器速度越来越快的时代，如果你要提高算法的速度，可等上几个月，届时计算机本身的速度就会更快。但这个时代已接近尾声，因此笔记本电脑和台式机转而采用多核处理器。为提高算法的速度，你需要让它们能够在多个内核中并行地执行！

来看一个简单的例子。在最佳情况下，排序算法的速度大致为O(n log n)。众所周知，对数组进行排序时，除非使用并行算法，否则运行时间不可能为O(n)！对数组进行排序时，快速排序的并行版本所需的时间为O(n)。

并行算法设计起来很难，要确保它们能够正确地工作并实现期望的速度提升也很难。有一点是确定的，那就是 速度的提升并非线性的，因此即便你的笔记本电脑装备了两个而不是一个内核，算法的速度也不可能提高一倍，其中的原因有两个：

并行性管理开销。假设你要对一个包含1000个元素的数组进行排序，如何在两个内核之间分配这项任务呢？如果让每个内核对其中500个元素进行排序，再将两个排好序的数组合并成一个有序数组，那么合并也是需要时间的。
负载均衡。假设你需要完成10个任务，因此你给每个内核都分配5个任务。但分配给内核A的任务都很容易，10秒钟就完成了，而分配给内核B的任务都很难，1分钟才完成。这意味着有那么50秒，内核B在忙死忙活，而内核A却闲得很！你如何均匀地分配工作，让两个内核都一样忙呢？

要改善性能和可扩展性，并行算法可能是不错的选择！

五、MapReduce

有一种 特殊的并行算法 正越来越流行，它就是 分布式算法。在并行算法只需两到四个内核时，完全可以在笔记本电脑上运行它，但如果需要数百个内核呢？

在这种情况下，可让算法在多台计算机上运行。MapReduce是一种流行的分布式算法，你可通过流行的开源工具Apache Hadoop来使用它。

1）分布式算法为何很有用

假设你有一个数据库表，包含数十亿乃至数万亿行，需要对其执行复杂的SQL查询。在这种情况下，你不能使用MySQL，因为数据表的行数超过数十亿后，它处理起来将很吃力。相反，你需要通过Hadoop来使用MapReduce！

又假设你需要处理一个很长的清单，其中包含100万个职位，而每个职位处理起来需要10秒。如果使用一台计算机来处理，将耗时数月！如果使用100台计算机来处理，可能几天就能完工。

分布式算法非常适合用于在短时间内完成海量工作，其中的MapReduce基于两个简单的理念：映射（map）函数 和 归并（reduce）函数。

2）映射函数

映射函数很简单，它接受一个数组，并对其中的每个元素执行同样的处理。例如，下面的映射函数将数组的每个元素翻倍。

>>> arr1 = [1, 2, 3, 4, 5]
>>> arr2 = map(lambda x: 2 * x, arr1)
[2, 4, 6, 8, 10]

arr2 包含 [2, 4, 6, 8, 10]：将数组 arr1 的每个元素都翻倍！将元素翻倍的速度非常快，但如果要执行的操作需要更长的时间呢？请看下面的伪代码。

>>> arr1 = # A list of URLs
>>> arr2 = map(download_page, arr1)

在这个示例中，你有一个URL清单，需要下载每个URL指向的页面并将这些内容存储在数组 arr2 中。对于每个URL，处理起来都可能需要几秒钟。如果总共有1000个URL，可能耗时几小时！

如果有100台计算机，而 map 能够自动将工作分配给这些计算机去完成就好了。这样就可同时下载100个页面，下载速度将快得多！这就是MapReduce中映射部分基于的理念。

3）归并函数

归并函数可能令人迷惑，其理念是将很多项归并为一项。

映射是将一个数组转换为另一个数组。

而归并是将一个数组转换为一个元素。

下面是一个示例。

>>> arr1 = [1, 2, 3, 4, 5]
>>> reduce(lambda x,y: x+y, arr1)
15

在这个示例中，你将数组中的所有元素相加：1 + 2 + 3 + 4 + 5 = 15！

MapReduce使用这两个简单概念在多台计算机上执行数据查询。数据集很大，包含数十亿行时，使用MapReduce只需几分钟就可获得查询结果，而传统数据库可能要耗费数小时。

六、布隆过滤器和HyperLogLog

假设你管理着网站 Reddit。每当有人发布链接时，你都要检查它以前是否发布过，因为之前未发布过的故事更有价值。又假设你在Google负责搜集网页，但只想搜集新出现的网页，因此需要判断网页是否搜集过。

在假设你管理着提供网址缩短服务的 bit.ly，要避免将用户重定向到恶意网站。你有一个清单，其中记录了恶意网站的URL。你需要确定要将用户重定向到的URL是否在这个清单中。这些都是同一种类型的问题，涉及庞大的集合。

给定一个元素，你需要判断它是否包含在这个集合中。为快速做出这种判断，可使用散列表。

例如，Google可能有一个庞大的散列表，其中的键是已搜集的网页。

要判断是否已搜集adit.io，可在这个散列表中查找它。

adit.io 是这个散列表中的一个键，这说明已搜集它。散列表的平均查找时间为O(1)，即查找时间是固定的，非常好！（《算法图解》学习笔记（五）：哈希表，小名散列表（附代码））

只是Google需要建立数万亿个网页的索引，因此这个散列表非常大，需要占用大量的存储空间。Reddit 和 bit.ly 也面临着这样的问题。面临海量数据，你需要创造性的解决方案！

1）布隆过滤器

布隆过滤器提供了解决之道。布隆过滤器是一种概率型数据结构，它提供的答案有可能不对，但很可能是正确的。为判断网页以前是否已搜集，可不使用哈希表，而使用布隆过滤器。使用哈希表时，答案绝对可靠，而使用布隆过滤器时，答案却是很可能是正确的。

可能出现错报的情况，即Google可能指出“这个网站已搜集”，但实际上并没有搜集。
不可能出现漏报的情况，即如果布隆过滤器说“这个网站未搜集”，就肯定未搜集。

布隆过滤器的优点在于占用的存储空间很少。使用哈希表时，必须存储Google搜集过的所有URL，但使用布隆过滤器时不用这样做。布隆过滤器非常适合用于不要求答案绝对准确的情况，前面所有的示例都是这样的。对 bit.ly 而言，这样说完全可行：“我们认为这个网站可能是恶意的，请倍加小心。”

2）HyperLogLog

HyperLogLog是一种类似于布隆过滤器的算法。如果Google要计算用户执行的不同搜索的数量，或者Amazon要计算当天用户浏览的不同商品的数量，要回答这些问题，需要耗用大量的空间！对Google来说，必须有一个日志，其中包含用户执行的不同搜索。有用户执行搜索时，Google必须判断该搜索是否包含在日志中：如果答案是否定的，就必须将其加入到日志中。即便只记录一天的搜索，这种日志也大得不得了！

HyperLogLog近似地计算集合中不同的元素数，与布隆过滤器一样，它不能给出准确的答案，但也八九不离十，而占用的内存空间却少得多。

面临海量数据且只要求答案八九不离十时，可考虑使用概率型算法！

七、SHA 算法

还记得第5章介绍的哈希算法吗？（《算法图解》学习笔记（五）：哈希表，小名散列表（附代码））我们回顾一下，假设你有一个键，需要将其相关联的值放到数组中。

你使用哈希函数来确定，应将这个值放在数组的什么地方。

你将值放在这个地方。

这样查找时间是固定的。当你想要知道指定键对应的值时，可再次执行哈希函数，它将告诉你这个值存储在什么地方，需要的时间为O(1)。

在这个示例中，你希望哈希函数的结果是均匀分布的。哈希函数接受一个字符串，并返回一个索引号。

1）比较文件

另一种散列函数是 安全散列算法（secure hash algorithm，SHA） 函数。给定一个字符串，SHA返回其散列值。

这里的术语有点令人迷惑。SHA是一个哈希函数，它生成一个哈希值——一个较短的字符串。用于创建哈希表的哈希函数根据字符串生成数组索引，而SHA根据字符串生成另一个字符串。

对于每个不同的字符串，SHA生成的哈希值都不同。

SHA 生成的散列值很长，这里为了方面观看就截短了。

你可使用SHA来判断两个文件是否相同，这在比较超大型文件时很有用。

假设你有一个 4 GB的文件，并要检查朋友是否也有这个大型文件。为此，你不用通过电子邮件将这个大型文件发送给朋友，而可计算它们的SHA哈希值，再对结果进行比较。

2）检查密码

SHA还让你能在不知道原始字符串的情况下对其进行比较。例如，假设Gmail遭到攻击，攻击者窃取了所有的密码！你的密码暴露了吗？

没有，因为Google存储的并非密码，而是密码的SHA哈希值！你输入密码时，Google计算其哈希值，并将结果同其数据库中的哈希值进行比较。（散列就是哈希）

Google只是比较哈希值，因此不必存储你的密码！SHA被广泛用于计算密码的哈希值。这种哈希算法是单向的。你可根据字符串计算出哈希值。

但你无法根据哈希值推断出原始字符串。

这意味着计算攻击者窃取了Gmail的SHA散列值，也无法据此推断出原始密码！你可将密码转换为哈希值，但反过来不行。

SHA实际上是一系列算法：SHA-0、SHA-1、SHA-2和SHA-3。当前，比较安全的密码哈希函数是bcrypt，但没有任何东西是万无一失的。

八、局部敏感的哈希算法

SHA还有一个重要特征，那就是局部不敏感的。假设你有一个字符串，并计算了其哈希值。

如果你修改其中的一个字符，再计算其哈希值，结果将截然不同！

这很好，让攻击者无法通过比较哈希值是否类似来破解密码。

有时候，你希望结果相反，即希望哈希函数是局部敏感的。在这种情况下，可使用Simhash。

如果你对字符串做细微的修改，Simhash生成的哈希值也只存在细微的差别。这让你能够通过比较哈希值来判断两个字符串的相似程度，这很有用！

Google使用Simhash来判断网页是否已搜集。
老师可以使用Simhash来判断学生的论文是否是从网上抄的。
Scribd允许用户上传文档或图书，以便与人分享，但不希望用户上传有版权的内容！这个网站可使用Simhash来检查上传的内容是否与小说《哈利·波特》类似，如果类似，就自动拒绝。

需要检查两项内容的相似程度时，Simhash很有用。

九、Diffie-Hellman 密钥交换

这里有必要提一提Diffie-Hellman算法，它以优雅的方式解决了一个古老的问题：如何对消息进行加密，以便只有收件人才能看懂呢？

最简单的方式是设计一种加密算法，如将a转换为1，b转换为2，以此类推。这样，如果我给你发送消息“4,15,7”，你就可将其转换为“d,o,g”。但我们必须就加密算法达成一致，这种方式才可行。我们不能通过电子邮件来协商，因为可能有人拦截电子邮件，获悉加密算法，进而破译消息。即便通过会面来协商，这种加密算法也可能被猜出来——它并不复杂。因此，我们每天都得修改加密算法，但这样我们每天都得会面！

即便我们能够每天修改，像这样简单的加密算法也很容易使用蛮力攻击破解。假设我看到消息“9,6,13,13,16 24,16,19,13,5”，如果使用加密算法a = 1、b = 2等，转换结果将如下。

结果是一堆乱码。我们来尝试加密算法a = 2、b = 3等。

结果对了！像这样的简单加密算法很容易破解。在二战期间，德国人使用的加密算法比这复杂得多，但还是被破解了。

Diffie-Hellman算法解决了如下两个问题。

双方无需知道加密算法。他们不必会面协商要使用的加密算法。
要破解加密的消息比登天还难。

Diffie-Hellman使用两个密钥：公钥和私钥。顾名思义，公钥就是公开的，可将其发布到网站上，通过电子邮件发送给朋友，或使用其他任何方式来发布。你不必将它藏着掖着。有人要向你发送消息时，他使用公钥对其进行加密。加密后的消息只有使用私钥才能解密。只要只有你知道私钥，就只有你才能解密消息！

Diffie-Hellman算法及其替代者RSA依然被广泛使用。如果你对加密感兴趣，先着手研究Diffie-Hellman算法是不错的选择：它既优雅又不难理解。

十、线性规划

线性规划是最酷的算法之一。

线性规划用于在给定约束条件下最大限度地改善指定的指标。例如，假设你所在的公司生产两种产品：衬衫和手提袋。衬衫每件利润2美元，需要消耗1米布料和5粒扣子；手提袋每个利润3美元，需要消耗2米布料和2粒扣子。你有11米布料和20粒扣子，为最大限度地提高利润，该生产多少件衬衫、多少个手提袋呢？

在这个例子中，目标是利润最大化，而约束条件是拥有的原材料数量。

再举一个例子。你是个政客，要尽可能多地获得支持票。你经过研究发现，平均而言，对于每张支持票，在旧金山需要付出1小时的劳动（宣传、研究等）和2美元的开销，而在芝加哥需要付出1.5小时的劳动和1美元的开销。在旧金山和芝加哥，你至少需要分别获得500和300张支持票。你有50天的时间，总预算为1500美元。请问你最多可从这两个地方获得多少支持票？

这里的目标是支持票数最大化，而约束条件是时间和预算。

你可能在想，最优化与线性规划有何关系？所有的图算法都可使用线性规划来实现。线性规划是一个宽泛得多的框架，图问题只是其中的一个子集。但愿你听到这一点后心潮澎湃！

线性规划使用Simplex算法，这个算法很复杂。

如果你对最优化感兴趣，就研究研究线性规划吧！

十一、总结

本章简要地介绍了10个算法，唯愿这让你知道还有很多地方等待你去探索。

最佳的学习方式是找到感兴趣的主题，然后一头扎进去。到这里《算法图解》学习笔记就结束了，下一本书预计是著名的《problem solving with algorithms and data structure using python》中文版。

参考文章

《算法图解》