【Spark】Spark TimeSort 排序

官网翻译：http://svn.python.org/projects/python/trunk/Objects/listsort.txt

介绍

这描述了一个自适应的、稳定的、自然的合并，称为timsort(嘿，我赢得了它)。它在许多类型的部分有序数组中具有超自然的性能(小于lg(N!)的比较需要，并且很少有N-1)，但是和Python之前的高度调优的samplesort混合在随机数组中一样快。

简单地说，主要的例行程序在数组上来回移动一次，从左到右，交替地标识下一个运行，然后将其合并到前面的运行“智能”。其他一切都是速度的复杂性，以及一些来之不易的内存效率度量。

与Python的Samplesort Hybrid进行比较

timsort需要一个包含多达N//2指针的临时数组，这意味着在32位的boxes上有2*N的额外字节。在对随机数据进行排序时，可以期望它需要一个temp数组;对于具有重要结构的数据，它可能不需要使用任何额外的堆内存。这似乎是反对它的最有力的论据，但是与一个对象的大小相比，2个临时字节(也可以是随机

【Spark】Spark TimeSort 排序相关推荐

spark的TimSort排序算法实现
Spark版本2.4.0. Spark中的排序实现也是通过TimSort类实现,实现具体方式与JDK略有区别. 具体实现,在TimSort类的sort()方法的sort()方法中. if (nRema ...
第28课：彻底解密Spark Sort-Based Shuffle排序具体实现内幕和源码详解
第28课:彻底解密Spark Sort-Based Shuffle排序具体实现内幕和源码详解本文根据家林大神系列课程编写 http://weibo.com/ilovepains 为什么讲解Sorte ...
Spark学习之路(八)：分别使用Java与Scala实现Spark二次排序
内容简介一.Spark二次排序的概念二.实现二次排序的详细步骤(Java语言) 三.二次排序代码演示 1.Java版本 2.Scala版本四.总结一.Spark二次排序的概念排序操作是数据处 ...
Spark——Spark概述
一.Spark是什么二.Spark and Hadoop 在之前的学习中,Hadoop的MapReduce是大家广为熟知的计算框架,那为什么咱们还要学习新的计算框架Spark呢,这里就不得不提到Sp ...
[Spark]Spark Streaming 指南四输入DStreams和Receivers
1. 输入DStream与Receiver 输入DStreams表示从源中获取输入数据流的DStreams.在指南一示例中,lines表示输入DStream,它代表从netcat服务器获取的数据流.每 ...
Spark中自定义排序
项目创建参考:http://blog.csdn.net/tototuzuoquan/article/details/74571374 package cn.toto.sparkimport org.a ...
XGBoost 与 Spark 在广告排序中的应用
文章来源: mp.weixin.qq.com/s/4i5O0QlKpWz...... 背景广告排序的核心问题是CTR预估,CTR预估的准确度,很大程度上决定了最终排序的质量.工业界目前用的比较多的是 ...
Spark自定义对象排序及自定义序列化
一.目标对象添加隐式转换函数的方式实现自定义排序 object MySort{//为student类添加隐式转换函数implicit val stuOrdering = new Ordering[st ...
数据算法——Spark二次排序
1.Scala实现: /*** 二次排序:超过2列(特征)* 对比MR天气案例,自定义一个key(包含读到的一行数字),对key进行内部比较.*/ object SecondSort {def mai ...

【Spark】Spark TimeSort 排序

介绍

与Python的Samplesort Hybrid进行比较

【Spark】Spark TimeSort 排序相关推荐

最新文章

热门文章