windows 10下搭建pyspark与遇到的一些问题的解决方法
目录
- windows 10 下 搭建 pyspark
- 所需要的工具
- 过程与步骤
windows 10 下 搭建 pyspark
所需要的工具
Java JDK 1.8.0
spark-2.2.0-bin-hadoop2.7
hadoop-2.7.3
winutils.exe
还需要有python环境，我用的是Anaconda 3（默认你已经装好此环境）。
所需工具下载链接
链接：https://pan.baidu.com/s/1e7YQO1UErH9QFQ90pncAeA
提取码：ohv8
过程与步骤
- 安装 Java JDK，这里默认安装就好，一直下一步下一 步，直到完成。
- 解压 Hadoop，Spark，并到所需要的目录下，这两个只需要解压就好，目录不要有中文与空格等字符。
- 配置Java，Spark，Hadoop环境变量。
JAVA 环境变量
- 先在用户变量新建，然后变量名为JAVA_HOME，变量名为你的JDK的安装路径如下图。下面的Path，添加 %JAVA_HOME%\bin，这样就设置好啦。
Spark 环境变量
- 跟JAVA环境变量设置一样，只不过变量名与路径名要变成SPARK_HOME与你的Spark的路径。
Hadoop 环境变量
- 跟JAVA环境变量设置一样，只不过变量名与路径名要变成HADOOP_HOME与你的HADOOP的路径。
详细的配置，请参考下图。
4. 把winutils.exe 复制到hadoop 的bin下，并用管理员打开cmd，跟着现在第二个图操作，利用winutils.exe 修改写入的权限。
winutils.exe chmod 777 C:\tmp\hive
一般都没有什么问题。
- 可能会出现的问题
- ChangeFileModeByMask error (2): ???
- 解决方法
- 在C盘下创建tmp\hive的文件夹
- 如C盘下已经有tmp文件夹了，可以在文件夹下添加hive的文件夹，如下图
修改后再试一下上面winutils.exe的命令。
- 修改完后权限后，就是安装pyspark。这里也可以会翻车。因为现在pyspark更新到3.x啦。pip install pyspark 应该是安装最新的。安装完后在终端应该输入pyspark，应该也会SPARK的图案了，如下图。
但是可能用的还是会报如下错误，解决办法，就是安装pyspark对应的版本，后面加的链接是阿里云，这样下载就会快很多。
pip install pyspark=2.2.1 -i https://mirrors.aliyun.com/pypi/simple/
java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CALLBACK_HOST
安装完后，应该就没有什么问题啦，运行如下。
windows 10下搭建pyspark与遇到的一些问题的解决方法相关推荐
- 关于 Windows 10 下安装 Linux 过程及报 'WSL...' 错误的解决办法
今天下午在群里看到有朋友发有关"Windows 10 下按安装 Linux 系统"的消息,小白我很是激动啊(Linux 贴近工作,Windows 贴近生活,割舍不下-),虽然可以在 ...
- 在Windows 10中HP 5100打印出来是黑方框的解决方法
办公室计算机一直使用Windows 7 企业版,近期重新安装了操作系统,换成了Windows 10专业工作站版,但选择的安装文件有问题(版本号:1709,16299.98),不支持系统管理的共享(无C ...
- 在Windows 10下搭建Android开发环境
来源:https://blog.csdn.net/manyan2028/article/details/77863406 搭建的环境是Wind 10系统. 分为四个个步骤: JAVA JDK下载-安装 ...
- Windows 10下 jupyter notebook 安装，打开，使用，关闭方法
jupyter notebook 可以在线运行Python,这个就够了 安装方法: 先安装Python3.5 然后:控制栏pip install jupyter 使用方法: 控制栏输入:jupyter ...
- Windows 7下桌面IE图标显示与修复的完美解决方法
如果按照以下方法操作无效的,参考此图: 这个打√就行了 老规矩,第一个方法是注册表,老鸟懂的: ---------------------------------------------------我 ...
- 在Windows 10/8/7电脑上无法复制粘贴文件的解决方法
某一天 身为小白的我发现电脑无法粘贴任何东西了(不限于某应用),重启之后仍然不好用,慌的一匹,你能想象到,现在的我是多么离不开复制粘贴么吗? 简直想在电脑上浇点水让他冷静一下,好在我足够冷静制止了自己 ...
- Windows 10 中 Eclipse中无法添加Courier New字体的解决方法！
1,打开"C:\Windows\Fonts\"文件夹. 2,鼠标右键"Courier New",随后点击"显示",这样你就可以在Eclips ...
- Windows 10下删除鲁大师卸载后的残留文件夹
Windows 10下删除鲁大师卸载后的残留文件夹 解决思路 打开鲁大师卸载后的残留文件夹(即名为LaDaShi的文件夹),尝试删除某个.dll文件后出现提示失败,其显示在Hardware Prote ...
- Windows下搭建PySpark环境
Windows下搭建PySpark环境 文章目录 Windows下搭建PySpark环境 前言 方法一 安装单机版Hadoop 安装单机版Spark PySpark环境整合 方法二 测试PySpark ...
最新文章
- 微信小程序获取用户收货地址 完整代码
- 深入理解 Java 线程池：ThreadPoolExecutor
- 2011辞职日志：辞职最关键时刻在下周一
- javaone_JavaOne 2012：JavaOne技术主题演讲
- you are not authorized to view this page
- addeventlistener不支持ajax_好程序员web前端学习路线分享了解AJAX是什么
- php打开word文件怎么打开,docx文件怎样打开
- 2017阿里巴巴实习生招聘编程题
- 基于mysql的电商用户分析
- 计算机专硕292,计算机2年制专硕越来越少，生活终于对我下手了吗?
- 19. 大吉大利，晚上吃鸡
- 【MATLAB小游戏】养鱼
- 抗DDOS产品性价比？
- 厉害了，学霸利用贪心算法找偷车贼
- 软件测试周刊（第69期）：说出观点需要勇气，说好笑则需求智慧。
- 桥牌坐庄训练bm2000 level3闯关记录——A9
- 精准定位Ubuntu网速最快的软件更新网站
- 如何防止SQL注入攻击？
- 单片机硬件按电路设计实例
- 酒店民宿如何在小红书上精细化推广?