C#刷剑指Offer | 【常考题】最小的k个数
【C#刷题】| 作者 / Edison Zhou
这是EdisonTalk的第299篇学习分享
我们来用之前学到的数据结构知识来刷《剑指Offer》的一些核心题目(精选了其中30+道题目),希望对你有帮助!本文题目为:最小的k个数。
1题目介绍
题目:输入n个整数,找出其中最小的k个数。例如输入4、5、1、6、2、7、3、8这8个数字,则最小的4个数字是1、2、3、4。
这道题是典型的TopK问题,其最简单的思路莫过于把输入的n个整数排序,排序之后位于最前面的k个数就是最小的k个数。这种思路的时间复杂度是O(nlogn),但是面试官会要求时间复杂度保持在O(n)。
2解题思路与实现
思路1:需要修改数据源的O(n)解法
基于快速排序中的Partition函数来解决这个问题。如果基于数组的第k个数字来调整,使得比第k个数字小的所有数字都位于数组的左边,比第k个数字大的所有数字都位于数组的右边。这样调整之后,位于数组中左边的k个数字就是最小的k个数字(这k个数字不一定是排序的)。
But,采用这种思路是有限制的。我们需要修改输入的数组,因为函数Partition会调整数组中数字的顺序。
思路2:适合处理海量数据的O(nlogk)解法
可以先创建一个大小为k的数据容器来存储最小的k个数字,接下来我们每次从输入的n个整数中读入一个数。
如果容器中已有的数字少于k个,则直接把这次读入的整数放入容器之中;
如果容器中已有k个数字了,也就是容器已满,此时我们不能再插入新的数字而只能替换已有的数字。
找出这已有的k个数中的最大值,然后拿这次待插入的整数和最大值进行比较。如果待插入的值比当前已有的最大值小,则用这个数替换当前已有的最大值;如果待插入的值比当前已有的最大值还要大,那么这个数不可能是最小的k个整数之一,于是我们可以抛弃这个整数。
因此当容器满了之后,我们要做3件事情:一是在k个整数中找到最大数;二是有可能在这个容器中删除最大数;三是有可能要插入一个新的数字。如果用一个二叉树来实现这个数据容器,那么我们能在O(logk)时间内实现这三步操作。因此对于n个输入数字而言,总的时间效率就是O(nlogk)。
具体代码实现:
根据以上步骤,这里采用C#实现代码如下:(采用了红黑树结构作为容器,当然也可以采用堆来实现,有关红黑树的细节可以阅读yangecnu的《浅谈算法和数据结构之红黑树》)
public static void GetLeastNumbersByRedBlackTree(List<int> data, SortedDictionary<int, int> leastNumbers, int k)
{leastNumbers.Clear();if (k < 1 || data.Count < k){return;}for (int i = 0; i < data.Count; i++){int num = data[i];if (leastNumbers.Count < k){leastNumbers.Add(num, num);}else{int greastNum = leastNumbers.ElementAt(leastNumbers.Count - 1).Value;if (num < greastNum){leastNumbers.Remove(greastNum);leastNumbers.Add(num, num);}}}
}
此解法虽然要慢一点,但它有两个明显的优点:
一是没有修改输入的数据(代码中的变量data)。我们每次只是从data中读入数字,所有的写操作都是在容器leastNumbers中进行的。
二是该算法适合海量数据的输入(包括百度在内的多家公司非常喜欢与海量输入数据相关的问题)。
假设题目是要求从海量的数据中找出最小的k个数字,由于内存的大小是有限的,有可能不能把这些海量的数据一次性全部载入内存。这个时候,我们可以从辅助存储空间(比如硬盘)中每次读入一个数字,根据GetLeastNumbers的方式判断是不是需要放入容器leastNumbers即可。
这种思路只要求内存能够容纳leastNumbers即可,因此它最适合的情形就是n很大并且k较小的问题。
3单元测试
测试辅助方法封装:
public static void TestPortal(string testName, int[] data, int[] expected, int k)
{if (!string.IsNullOrEmpty(testName)){Console.WriteLine("{0} begins:", testName);}Console.WriteLine("Result for solution:");if (expected != null){Console.WriteLine("Expected result:");for (int i = 0; i < expected.Length; i++){Console.Write("{0}\t", expected[i]);}Console.WriteLine();}if(data == null){return;}List<int> dataList = new List<int>();for (int i = 0; i < data.Length; i++){dataList.Add(data[i]);}SortedDictionary<int, int> leastNumbers = new SortedDictionary<int, int>();GetLeastNumbersByRedBlackTree(dataList, leastNumbers, k);Console.WriteLine("Actual result:");foreach (var item in leastNumbers){Console.Write("{0}\t", item.Value);}Console.WriteLine("\n");
}
单元测试用例:
// k小于数组的长度
public static void Test1()
{int[] data = { 4, 5, 1, 6, 2, 7, 3, 8 };int[] expected = { 1, 2, 3, 4 };TestPortal("Test1", data, expected, expected.Length);
}// k等于数组的长度
public static void Test2()
{int[] data = { 4, 5, 1, 6, 2, 7, 3, 8 };int[] expected = { 1, 2, 3, 4, 5, 6, 7, 8 };TestPortal("Test2", data, expected, expected.Length);
}// k大于数组的长度
public static void Test3()
{int[] data = { 4, 5, 1, 6, 2, 7, 3, 8 };int[] expected = null;TestPortal("Test3", data, expected, 10);
}// k等于1
public static void Test4()
{int[] data = { 4, 5, 1, 6, 2, 7, 3, 8 };int[] expected = { 1 };TestPortal("Test4", data, expected, expected.Length);
}// k等于0
public static void Test5()
{int[] data = { 4, 5, 1, 6, 2, 7, 3, 8 };int[] expected = null;TestPortal("Test5", data, expected, 0);
}// 数组中有相同的数字
public static void Test6()
{int[] data = { 4, 5, 1, 6, 2, 7, 2, 8 };int[] expected = { 1, 2 };TestPortal("Test6", data, expected, expected.Length);
}// 输入空指针
public static void Test7()
{TestPortal("Test7", null, null, 0);
}
测试结果:
4分布式计算
Hadoop MapReduce简介
Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行地处理上TB级别的海量数据集。
因此,对于MapReduce,可以简洁地认为,它是一个软件框架,海量数据是它的“菜”,它在大规模集群上以一种可靠且容错的方式并行地“烹饪这道菜”。
使用MapReduce解决TopK问题
这里我们使用一个随机生成的100万个数字的文件,也就是说我们要做的就是在100万个数中找到最大的前100个数字。
实验数据下载地址:http://pan.baidu.com/s/1qWt4WaS
(1)map方法
public static class MyMapper extendsMapper<LongWritable, Text, NullWritable, LongWritable> {public static final int K = 100;private TreeMap<Long, Long> tm = new TreeMap<Long, Long>();protected void map(LongWritable key,Text value,Mapper<LongWritable, Text, NullWritable, LongWritable>.Context context)throws java.io.IOException, InterruptedException {try {long temp = Long.parseLong(value.toString().trim());tm.put(temp, temp);if (tm.size() > K) {tm.remove(tm.firstKey());// 如果是求topk个最小的那么使用下面的语句//tm.remove(tm.lastKey());}} catch (Exception e) {context.getCounter("TopK", "errorLog").increment(1L);}};protected void cleanup(org.apache.hadoop.mapreduce.Mapper<LongWritable, Text, NullWritable, LongWritable>.Context context)throws java.io.IOException, InterruptedException {for (Long num : tm.values()) {context.write(NullWritable.get(), new LongWritable(num));}};
}
其中,这里使用到了java中的红黑树对应的数据结构TreeMap类,cleanup()方法是在map方法结束之后才会执行的方法,这里我们将在该map任务中的前100个数据传入reduce任务中;
(2)reduce方法
public static class MyReducer extendsReducer<NullWritable, LongWritable, NullWritable, LongWritable> {public static final int K = 100;private TreeMap<Long, Long> tm = new TreeMap<Long, Long>();protected void reduce(NullWritable key,java.lang.Iterable<LongWritable> values,Reducer<NullWritable, LongWritable, NullWritable, LongWritable>.Context context)throws java.io.IOException, InterruptedException {for (LongWritable num : values) {tm.put(num.get(), num.get());if (tm.size() > K) {tm.remove(tm.firstKey());// 如果是求topk个最小的那么使用下面的语句//tm.remove(tm.lastKey());}}// 按降序即从大到小排列Key集合for (Long value : tm.descendingKeySet()) {context.write(NullWritable.get(), new LongWritable(value));}};
}
在reduce方法中,依次将map方法中传入的数据放入TreeMap中,并依靠红黑色的平衡特性来维持数据的有序性。
(3)实现效果:图片大小有限,这里只显示了前12个;
虽然例子很简单,业务也很简单,但是我们引入了分布式计算的思想,将MapReduce应用在了最值问题之中,也算是一个进步了。
Ref参考资料
何海涛,《剑指Offer》
后台回复:剑指offer,即可获得pdf下载链接哟!
????扫码关注EdisonTalk
设为星标,不再失联!
往期推文合集:2020年上半年推文合集
C#刷剑指Offer | 【常考题】最小的k个数相关推荐
- 《剑指offer》NO40 最小的K个数 大顶堆实现 详解 <Java实现>
public class Solution2_大顶堆 {//用PriorityQueue 来实现一个大顶堆. 当队内元素个数大于K个并且新入的元素小于 大顶堆的最大值,那么就出队列,新的进入.所有元素 ...
- 剑指 offer 链表倒数的第k个数
快慢指针 快指针线遍历到第k-1个数,然后慢指针在从头开始遍历,这样快慢指针有k-1个间隔,当快指针到链表末尾时,慢指针指的数就是倒数第k个数. public class Solution { ...
- 二刷剑指Offer:剑指Offer+LeetCode(全53题)
文章目录 剑指Offer刷题 67. 剪绳子(贪心算法) 66. 机器人的运动范围(dfs) 65. 矩阵中的路径(回溯算法) 64. 滑动窗口的最大值(双端队列) 63. 数据流中的中位数 62. ...
- C#刷剑指Offer | 二叉树中和为某一值的路径
[C#刷题]| 作者 / Edison Zhou 这是EdisonTalk的第292篇原创内容 我们来用之前学到的数据结构知识来刷<剑指Offer>的一些核心题目(精选了其中30+道题目) ...
- C#刷剑指Offer | 二叉搜索树的后序遍历序列
[C#刷题]| 作者 / Edison Zhou 这是EdisonTalk的第289篇原创内容 我们来用之前学到的数据结构知识来刷<剑指Offer>的一些核心题目(精选了其中30+道题目) ...
- C#刷剑指Offer | 从上到下打印二叉树
[C#刷题]| 作者 / Edison Zhou 这是EdisonTalk的第288篇原创内容 我们来用之前学到的数据结构知识来刷<剑指Offer>的一些核心题目(精选了其中30+道题目) ...
- C#刷剑指Offer | 在O(1)时间删除链表节点
[C#刷题]| 作者 / Edison Zhou 我们来用之前学到的数据结构知识来刷<剑指Offer>的一些核心题目(精选了其中30+道题目),希望对你有帮助!本文题目为:在O(1)时间删 ...
- 【Algorithm】用JS刷剑指offer
1 二维数组的查找 题目描述 在一个二维数组中(每个一维数组的长度相同),每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序.请完成一个函数,输入这样的一个二维数组和一个整数,判断 ...
- Java每日一题——>剑指 Offer II 035. 最小时间差(三解,蛮力,排序,哈希)
文章目录 题目 题解1(蛮力法) 代码实现 复杂度分析 题解2(排序) 代码实现 复杂度分析 题解3(哈希表) 代码实现 复杂度分析 题目 这是LeetCode上的 [035,最小时间差],难度为 [ ...
最新文章
- 浅析网络推广外包公司如何完成营销型网站建设完成网络推广外包?
- linux fedora升级操作
- 树莓派c语言led,用树莓派实现RGB LED的颜色控制——C语言版本号
- linux cd的帮助文件,linux查看命令帮助man命令详解在线手册
- JAVA 取得当前目录的路径/Servlet/class/文件路径/web路径/url地址
- Software Version
- gearman mysql 扩展_Gearman的安装和使用
- 以图换字的几种方法及优劣分析
- export ,export default 和 import 区别以及用法
- python 二分类的实例_Python深度学习案例1--电影评论分类(二分类问题)
- BP神经网络python代码详细解答(来自原文)
- android 10 无线 电脑模式,Win10电脑和安卓手机无线互投教程
- 旧手机上的微信数据丢失怎么才能恢复回来
- 英文网站SEO优化技巧大全
- pth文件转为onnx格式
- 四色定理(DFS深搜)
- js:开启弹窗和关闭弹窗
- spark写 本地文件报错
- 唇语识别!AI 领域的下一个万亿市场?
- 汽车VIN码识别功能实现资料,轻松实现VIN码识别
热门文章
- Bomb(hdu 3555)
- R中大数据量数据框的合并慎重使用rbind
- 【转】Python可变长度的函数参数
- DataForm 中通过外面的按钮进行提交时,出错
- 如何在Android主屏幕上添加热点快捷方式
- cmd暂停快捷键_是否有键盘快捷键可以暂停正在运行的CMD窗口的输出?
- office自定义安装选项_如何自定义Office 2013中功能区上的现有选项卡
- android页面布局 如何让中间的listview填充剩余部分_谷歌驾驶设计—界面设计布局...
- 面向对象进阶(二)----------类的内置方法
- Redis 通配符批量删除key