Pyspark学习入门二：sort排序学习

接触到spark，才觉得很多东西并不是想象的那么简单的，不过这个并不能影响什么情绪，对于这个平台我还是很愿意多花点时间去学习熟悉一下的，忙里偷闲，找点时间，今天按照官方的API简单实践一下sort排序的内容，这些在我之前的博客里面有多很多讲解，都是借助python来原生态地实现的，这里是想用spark来做一下这个事情，主要包括两种，一种是读取数据文件进而对数据文件中的内容进行排序；另一种是直接输入数据列表来进行排序，下面是具体的实践。

#!usr/bin/env python
#encoding:utf-8'''
__Author__:沂水寒城
功能：基于 spark 的排序
'''import sys
import time
import random
from operator import gt
from pyspark.sql import SparkSession
from pyspark import SparkContext, SparkConf# conf=SparkConf().setAppName('PSApp').setMaster('local')
# sc=SparkContext(conf=conf)def sortFromFile(data_path='sort.txt'):'''从文件读取数据进行排序'''spark=SparkSession.builder.appName("PSApp").getOrCreate()lines = spark.read.text(data_path).rdd.map(lambda r: r[0])sortedCount=lines.flatMap(lambda x: x.split(' ')).map(lambda x: (int(x), 1)).sortByKey()output=sortedCount.collect()print 'output: ',outputfor (num, unitcount) in output:print numspark.stop()def sortFromList(data_list):'''对列表数据进行排序'''conf=SparkConf().setAppName('PSApp').setMaster('local')sc=SparkContext(conf=conf)rdd=sc.parallelize(data_list)res_list=rdd.sortBy(lambda x: x).collect()print 'res_list: ',res_listreturn res_listsc.stop()def timeCompare(num=10000):'''时间消耗对比'''data_list1,data_list2=[],[]for i in range(num):one_num=random.randint(-1000000,1000000)data_list1.append(one_num)data_list2.append(one_num)s1=time.time()data_list1.sort()s2=time.time()res_list=sortFromList(data_list2)s3=time.time()print 'data_list1==res_list: ',data_list1==res_listprint 'python time is: ',s2-s1print ' spark time is: ',s3-s2if __name__ == "__main__":sortFromFile(data_path='sort.txt')data_list=[123,3,4,657,0,234,21,3,4,-11,12334,-37,5567,43,222,3333,4563,6]sortFromList(data_list)timeCompare(num=10000)timeCompare(num=100000)timeCompare(num=1000000)

排序结果如下：

output:  [(-3, 1), (0, 1), (3, 1), (3, 1), (5, 1), (6, 1), (7, 1), (12, 1), (31,1), (32, 1), (34, 1), (45, 1), (77, 1), (90, 1), (99, 1), (111, 1), (222, 1), (
333, 1), (450, 1), (452, 1), (456, 1), (678, 1), (1112, 1), (656757, 1)]
-3
0
3
3
5
6
7
12
31
32
34
45
77
90
99
111
222
333
450
452
456
678
1112
656757res_list:  [-37, -11, 0, 3, 3, 4, 4, 6, 21, 43, 123, 222, 234, 657, 3333, 4563,
5567, 12334]

处于好奇，我想简单比对一下spark的排序效率和python原生态地排序功能谁更加强大一点，于是乎，做了一点小小的对比试验，可能是我的机子比较次吧，spark排序的性能均劣于python，不过这个仅仅是一个小实验哈

data_list1==res_list:  True
python time is:  0.00200009346008spark time is:  0.908999919891data_list1==res_list:  True
python time is:  0.0309998989105spark time is:  0.503000020981data_list1==res_list:  True
python time is:  0.530999917984spark time is:  3.49399995804

学习了！

Pyspark学习入门二：sort排序学习相关推荐

（Python入门）学习笔记二，Python学习路线图
(Python入门)学习笔记二,Python学习路线图千里之行始于足下,谋定而后动,冰冻三尺非一日之寒.之所以说这三句话,就是对于下面整理的路线图,即不让自己感觉路途的遥远而感到达到巅峰神界的遥遥无 ...
强化学习（二）—— 价值学习（Value-Based）及DQN
强化学习(二)-- 价值学习(Value-Based)及DQN 1. DQN介绍 2. TD算法介绍 3. 案例 1. DQN介绍 Deep Q Network 目标:最大化累计奖励(回报U) 通过神 ...
VUE项目学习（二）：学习项目文件结构
VUE项目学习(二):学习项目文件结构 VUE项目结构: index.html:主页,项目入口 App.vue:根组件 main.js:入口文件 router文件夹下的index.js:路由配置文件 ...
【吐血推荐】机器学习/深度学习入门资料汇总及学习建议【入门必看】
机器学习入门,初学者遇到的问题非常多,但最大的问题就是: 资料太多!!!看不完!!!不知道如何取舍!!! 一.机器学习的数学基础正规的机器学习数学基础主要有: 数学分析(微积分),线性代数,概率论, ...
强化学习入门教程（附学习大纲）
零基础,想要入门或从事强化学习研究的同学有福了! CSDN学院特邀资深讲师为大家分享<强化学习深入浅出完全教程>从零基础开始入门强化学习,在教学的过程中,配合具体案例.代码演示 , ...
深度学习（二）——深度学习常用术语解释, Neural Network Zoo, CNN, Autoencoder
Dropout(续) 除了Dropout之外,还有DropConnect.两者原理上类似,后者只隐藏神经元之间的连接. 总的来说,Dropout类似于机器学习中的L1.L2规则化等增加稀疏性的算法,也 ...
单片机学习入门我们应该这样学习单片机
单片机在学习入门的时候需要了解哪些内容呢?我们应该这样学习单片机: 首先:数字I/O的使用使用按钮输入信号,发光二极管显示输出电平,就可以学习引脚的数字I/O功能,在按下某个按钮后,某发光二极管发亮 ...
Android缓存学习入门(二)
本文主要包括以下内容内存缓存策略文件缓存策略内存缓存策略当有一个图片要去从网络下载的时候,我们并不会直接去从网络下载,因为在这个时代,用户的流量是宝贵的,耗流量的应用是不会得到用户的青睐的.那 ...
Tensorflow 学习入门(二) 初级图像识别——手写数字识别
初级图像识别--手写数字识别背景知识储备 Softmax Regression MNIST 矩阵相乘 One Hot 编码 Cross Entropy(交叉熵) 代码实现引入数据设计数据结构完 ...
Kinect学习（二）：学习资源整理（转）
转自:https://blog.csdn.net/zouxy09/article/details/8145688 刚刚接触Kinect,在网上狂搜资料,获得了很多有利于学习Kinect开发的资源,现整 ...

Pyspark学习入门二：sort排序学习

Pyspark学习入门二：sort排序学习相关推荐

最新文章

热门文章