Spark的坑--Spark新手必看--Python Spark必读，耗费了我近三周的时间

from pyspark import SparkContext, SparkConf
import os
from tqdm import tqdmfrom utils2 import convert_date_2_chenyings_formatos.environ['HADOOP_HOME'] = 'D:\software\spark\winutils\hadoop-common-2.2.0-bin'  # winutils.exe，hadoop的坑os.environ["PYSPARK_PYTHON"] = "/Users/user/Python_Source/venv/python3.7"  # 集群上期望运行的Python的版本conf = SparkConf().setAppName('AppName').setMaster('spark://0.0.0.0:7077')  # 局域网IP
sc = SparkContext(conf=conf)# 把本地的.py文件导入集群
for f in tqdm(os.listdir()):if f.find('.py') != -1:sc.addPyFile(f)# 测一下
data = [1, 2, 3, 4, 5]
data2 = {1: '1s', 2: '2s', 3: '3s'}
distData = sc.parallelize(data)
distData.collect()date_test = distData.map(lambda k: k + 1)
date_test.collect()date_test = distData.map(lambda k: k)  # 可以写你自己的Py文件
date_test.collect()sc.stop()

Spark的坑--Spark新手必看--Python Spark必读，耗费了我近三周的时间相关推荐

python初学者必背函数_新手必看python vlog 1: 函数
关注本慕没烦恼,python新手瞧一瞧. 从今天开始,本慕开始为新手们带来福利啦!!祝各位python新手们事业有成!!? 今天,我们从最基础的开始讲. 首先大家安装PyCharm了吧!!解释器安装好 ...
“I2C”通信的那些坑，新手必看！
一般情况下, i2C设备焊接没什么问题,按照设备手册一步步来,基本上就顺风顺水能够用起来.如果这么一个简单的东西,有时候想要的结果死活不出来,反复的检查问题的原因,查询解决办法,核查设备的数据手册,甚 ...
新手必看——Python代码运行的方法都在这里了
Python代码写好了怎么运行?相信问这样问题的朋友一定是刚刚入门Python的初学者.本文就来为大家详细讲讲如何运行Python代码. 一般来讲,运行Python代码的方式有两种,一是在Python ...
python中是干嘛的-python是做什么的，新手必看哦!
原标题:python是做什么的,新手必看哦! python , 是一种面向对象的解释型计算机程序设计语言,具有丰富和强大的库,Python 已经成为继JAVA,C 之后的的第三大语言.特点:简单易学 ...
python的难点_初学python的操作难点总结(新手必看篇)
如下所示: 1 在cmd下盘与盘之间的切换直接 D或d: 就好 2 查找当前盘或者文件下面的目录直接 dir 3 想在一个盘下进去一个文件夹,用cd空格目标文件 cd p 4 写文件的第一个字母 ...
python新手入门总结_初学python的操作难点总结(新手必看篇)
如下所示: 1 在cmd下盘与盘之间的切换直接 D或d: 就好 2 查找当前盘或者文件下面的目录直接 dir 3 想在一个盘下进去一个文件夹,用cd空格目标文件 cd p 4 写文件的第一个字母 ...
python软件如何安装方法_【新手必看】Python软件下载及安装教程
原标题:[新手必看]Python软件下载及安装教程 Python下载:免费开源官网地址:https://www.python.org/downloads/ 下载对应版本Python:python-3 ...
python新手入门代码-新手必看：手把手教你入门 Python
原标题:新手必看:手把手教你入门 Python 本文为 AI 研习社编译的技术博客,原标题 : Learning Python: From Zero to Hero 翻译 |永恒如新的日常校对 | 酱 ...
c语言探险游戏攻略,宝可梦探险寻宝新手必看攻略助你早日脱坑
宝可梦探险寻宝新手必看攻略,在方块风格的世界中,玩家可以收集同样方块风的宝可梦,收集材料让它们变强,然后探索更多的地图.游戏还是很有意思的,掌握正确的玩法可以事半功倍,萌新们速速来参考一下吧. 一.烹 ...

Spark的坑--Spark新手必看--Python Spark必读，耗费了我近三周的时间

Spark的坑--Spark新手必看--Python Spark必读，耗费了我近三周的时间相关推荐

最新文章

热门文章