在windows下运行spark

1.下载spark:spark-2.0.0-bin-hadoop2.7.tgz

2.解压至D:\bigdata\spark-2.0.0-bin-hadoop2.7

3.配置环境变量

　　HADOOP_HOME:D:\bigdata\hadoop-2.7.2

　　SPARK_HOME:D:\bigdata\spark-2.0.0-bin-hadoop2.7

　　Path中添加：%HADOOP_HOME%\bin;%SPARK_HOME%\bin;

4.运行

　　先运行Hadoop

　　再运行spark

　　cd D:\bigdata\spark-2.0.0-bin-hadoop2.7\bin

　　spark-shell.cmd

　　就可以打开spark控制面板了：http://localhost:4040/

转载于:https://www.cnblogs.com/mrluo735/p/5948172.html

在windows下运行spark相关推荐

Windows下安装spark+Hadoop
Spark作为一个基于内存的开源计算框架,在这个大数据时代背景下,受到越来越多的开发者的喜爱,相对于Hadoop,Spark拥有对大量数据更快的处理速度,并且易于使用(支持多种开发语言).比Hadoo ...
Windows下运行rabbitmqctl 相关命令(如rabbitmqctl stop)报错：Error: unable to perform an operation on node解决方案
Windows下运行rabbitmqctl 相关命令(如rabbitmqctl stop)报错:Error: unable to perform an operation on node解决方案参考 ...
在Linux中某些程序无法运行,为何linux下的程序不能在windows下运行，不是“废话”那么简单...
大家好,近期我发的文章都比较底层,过些天再发Linux基础方面的内容,多谢大伙儿的支持,回到正题. 您看,linux和windows都是运行在x86体系架构cpu上的操作系统,也就是指令的机器码都是一 ...
解决Windows下运行php Composer出现SSL报错的问题
解决Windows下运行php Composer出现SSL报错的问题 2015-01-14 20:05 在windows下运行composer却出现SSL报错: E:\www>php -f co ...
关闭windows hello然后尝试再次运行安装程序_蜂鸟E203系列——Windows下运行hello world例程...
蜂鸟E203系列--Windows下运行hello world例程mp.weixin.qq.com 创建 hello world 例程选择file->new->C / C++ Proj ...
Windows下运行python脚本报错“ImportError： No Module named ...”的解决方法
Windows下运行python脚本报错"ImportError: No Module named ..."的解决方法参考文章: (1)Windows下运行python脚本报错& ...
windows下运行vbs脚本
windows下运行vbs脚本 vbs基础教程简单的代码(此代码来自脚本之家,如果侵犯了您的权利请与本人联系) REM 输入并回显你的名字 '使用InputBox和Msgbox函数 '(上面及本行可 ...
Windows下运行Hadoop
Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行:另一种是通过Cygwin模拟Linux环境.后者的好处 ...
本地提交spark_Spark在Windows下运行，本地提交spark到远程yarn集群
[问题]Spark在windows能跑集群模式吗? 我认为是可以的,但是需要详细了解cmd命令行的写法.目前win下跑spark的单机模式是没有问题的. [关键点]spark启动机制容易被window ...

在windows下运行spark

在windows下运行spark相关推荐

最新文章

热门文章