Python利用Spark并行处理框架批量判断素数

方法一：

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("isPrime")

sc = SparkContext(conf=conf)

def isPrime(n):

if n<2:

return False

if n==2:

return True

if not n&1:

return False

for i in range(3, int(n**0.5)+2, 2):

if n%i == 0:

return False

return True

#创建RDD

rdd = sc.parallelize(range(1000))

#过滤

result = rdd.filter(isPrime).collect()

print('='*30)

print(result)

方法二，空间占用大，不推荐：

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("isPrime")

sc = SparkContext(conf=conf)

n = 1000

m = int(n**0.5) + 1

rdd = sc.parallelize(range(2, n))

result = set()

while True:

#获取第一个元素

t = rdd.first()

if t > m:

break

result.add(t)

#对RDD上的所有元素进行过滤、筛选，能被整除的全部过滤掉

rdd = sc.parallelize(rdd.filter(lambda x: x%t != 0).collect())

print(list(result)+rdd.collect())

Python利用Spark并行处理框架批量判断素数相关推荐

Python使用pyopencl在GPU上并行处理批量判断素数
扩展库pyopencl使得可以在Python中调用OpenCL的并行计算API.OpenCL(Open Computing Language)是跨平台的并行编程标准,可以运行在个人电脑.服务器.移动终 ...
Python使用pycuda在GPU上并行处理批量判断素数
借助于扩展库pycuda,可以在Python中访问NVIDIA显卡提供的CUDA并行计算API,使用非常方便.安装pycuda时要求已正确安装合适版本的CUDA和Visual Studio(注意,并不 ...
Python使用多进程批量判断素数
代码功能:使用进程池判断素数,统计100000000以内的素数个数. from multiprocessing import Pool def isPrime(n): if n<2: #非素数返 ...
C语言if语句判断素数,利用简单的if语句判断素数
8种机械键盘轴体对比本人程序员,要买一个写代码的键盘,请问红轴和茶轴怎么选? 判断素数这个问题是c语言条件,循环中最简单的一个问题下面就来介绍一下判断素数的代码吧 #include "s ...
python求最大素数_Python实现求最大公约数及判断素数的方法
本文实例讲述了Python实现求最大公约数及判断素数的方法.分享给大家供大家参考.具体实现方法如下: #!/usr/bin/env python def showMaxFactor(num): cou ...
原python实现素数判断_Python实现求最大公约数及判断素数的方法
本文实例讲述了python实现求最大公约数及判断素数的方法.分享给大家供大家参考.具体实现方法如下: #!/usr/bin/env python def showMaxFactor(num): cou ...
Hive数据分析——Spark是一种基于rdd（弹性数据集）的内存分布式并行处理框架，比于Hadoop将大量的中间结果写入HDFS，Spark避免了中间结果的持久化...
转自:http://blog.csdn.net/wh_springer/article/details/51842496 近十年来,随着Hadoop生态系统的不断完善,Hadoop早已成为大数据事实上 ...
程序员数学基础【四、取模应用-判断奇偶数、判断素数、求两个数的最大公约数、水仙花数】(Python版本)
测试使用语言:[Python] 由于此类语言入门非常容易,哪怕初中生亦可以,并且本科/研究生写论文.做实验多数所用语言都是[Python]故而选择此语言. 代码运行平台:[win10 x64] 代码环 ...
Python判断素数（质数）——循换结构、控制及else循环扩展模式的实践
一.问题:Python判断素数(质数) 获得输入正整数 N,判断 N 是否为质数,如果是则输出 True,否则输出 False.不考虑输入异常. 我的答案: #质数定义为在大于1的自然数N = eva ...

Python利用Spark并行处理框架批量判断素数

Python利用Spark并行处理框架批量判断素数相关推荐

最新文章

热门文章