我在Windows系统搭建python的Hadoop+Spark环境时踩过的坑

本人是一个最近正在研究链路预测的小白，读论文的时候有幸从导师那里获得了论文相关的算法代码，可是论文里面涉及到了spark和Hadoop，需要搭建环境，于是这只无脑的小白成功踏入了搭建Hadoop+spark环境的坑，可谓一如此坑深思海，从此快乐是路人。

最开始了解到用Linux系统更方便，于是用VM+Ubuntu在Windows上运行Linux，这次踏上了以条VM安装Ubuntu的岔路，终于能用Linux了，结果电脑配置不行，太卡了。后来了解到Deepin系统和Ubuntu很像，而且最关键的是界面是中文的呀，安装了一下双系统。初次界面真是太友好了，anconda网站的下载界面是中文的，虽然翻译有点瑕疵，但是不妨碍理解，而且打开Spyder，界面都是中文的，真是太棒了，其他的都是英文的（小白的英文不太好，一般都是用汉化版的软件），然后悲剧的事情还在后面，Linux系统我不会玩呀，玩了三天重装了两次，这个过程出现了太多的问题，一把辛酸泪，此处省略一万字。

唉，兜兜转转一圈，又回到了原点，还是用Windows搭建环境吧，再次百度搭建环境的方法、教程，搭建两天之后，踩过了很多的坑终于跳出了这个坑，太不容易了。

总结一下踩过的坑：

1、spark有两种版本，有两种类型，安装的时候要选预编译过的，不要选源代码，如果是大神，想自己编译的话当我没说好了。还有要不要选择预览版，至于为什么，我也不知道。

2、Hadoop是有要求的，不同版本的Hadoop对Java的要求不一样。

小白之前学过Java，虽然Hello world都不会写了，但是java8的安装包我还留着呢，于是直接安装搭建环境了，学习的时候才过那么多次搭建环境的坑，搭建环境我还是知道的。然而版本不匹配，白忙活了。

Hadoop对Java的具体版本要求

3、spark对scala的版本要求也是不一样的，

这个在spark的下载页面可以看到，但是自有点小，而且没有高亮，被小白直接忽略掉了。

4、通过python利用spark时，也要注意版本问题，小白在搭建环境的时候，觉得从spark安装路径复制朋友spark太麻烦了，于是在cmd使用pip3 install pyspark直接安装的，然而问题又出现了，目前使用命令行下载安装的pyspark是spark2.4.5版本的，以后当然会变了

如果之前安装的不是spark2.4.5版本的话，那就会有问题了。

熬过了这么多的坑，小白终于在Windows成功搭建了Hadoop+spark环境了。当然小白的成功需要感谢大神@法号阿兴的spark学习笔记，过程非常详细，非常适合我这样的小白学习。

最后推荐厦门大学数据库实验室给对大数据感兴趣的小猿们学习，再推荐厦门大学林子雨教授的Spark的安装和编程实践和Hadopp的安装这两篇在Linux（Ubuntu）系统中搭建环境的博客给大家学习。

我在Windows系统搭建python的Hadoop+Spark环境时踩过的坑相关推荐

Windows系统搭建gtk+-2.0开发环境教程
GTK+(GIMP Toolkit)是一套源码以LGPL许可协议分发.跨平台的图形工具包.最初是为GIMP写的,已成为一个功能强大.设计灵活的一个通用图形库,是GNU/Linux下开发图形界面的应用程 ...
windows下python环境搭建_Win7怎么搭建Python环境 win7系统搭建Python环境的方法
Python环境是一种面向对象.解释型计算机程序设计语言,功能强大,有很多的第三方开发模块,那么在win7系统中怎么搭建Python环境呢?下面给大家分享一下win7系统搭建Python环境的方法如下 ...
win10搭建python环境_win10系统搭建python环境的还原方法
有关win10系统搭建python环境的操作方法想必大家有所耳闻.但是能够对win10系统搭建python环境进行实际操作的人却不多.其实解决win10系统搭建python环境的问题也不是难事,小编这 ...
python 3.5.2设计页面_怎么解决win10系统搭建Python 3.5.2开发环境的处理方案
今天小编告诉大家如何对win10系统搭建Python 3.5.2开发环境进行设置,可能很多用户都不知道怎么对win10系统搭建Python 3.5.2开发环境进行设置,但当我们遇到对win10系统搭建 ...
windows搭建python开发环境方法_04 Windows下搭建 Python 开发环境 - Python 入门教程
前面两个小节中我们已经学习了在 MacOS 和 Ubuntu 中安装 Python 的开发环境.当然,作为用户基数最多的 Windows 操作系统,我们当然不会忘记,这节课我们就来学习下如何在 Win ...
python 3.5.2页面_笔者操作win10系统搭建Python 3.5.2开发环境的详细方案
win10系统性能稳定受到广大用户的喜爱,但也不尽完美,在使用过程中,难免会遇到win10系统搭建Python 3.5.2开发环境的问题.碰到win10系统搭建Python 3.5.2开发环境的问题. ...
在Windows中搭建python开发环境与使用初步（适合初学者）
在Windows中搭建python开发环境与使用初步安装设置python运行环境到网站https://www.python.org/downloads/windows/ 找到合适版本,下载. 双击 ...
Windows 10 搭建Python开发环境（PyCharm ）
Windows 10 搭建Python开发环境(PyCharm ) 一.安装Python3 二.安装Pycharm 怎么使用PyCharm编写Python程序,简单教程. windows下安装pyth ...
zk服务器系统,windows系统搭建zookeeper服务器的教程
安装&配置在apache的官方网站提供了好多镜像下载地址,然后找到对应的版本下载地址: Windows下安装把下载的zookeeper的文件解压到指定目录 C:\ZK\zookeeper ...

我在Windows系统搭建python的Hadoop+Spark环境时踩过的坑

我在Windows系统搭建python的Hadoop+Spark环境时踩过的坑相关推荐

最新文章

热门文章