大数据学习——spark安装
1 下载安装包
2 上传并解压(不需要修改配置文件)
tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz mv spark-1.6.2-bin-hadoop2.6 spark
3 启动
进入spark/bin
./spark-shell
计算单词出现次数
sc.textFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
按照单词出现次数降序排列
sc.textFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect
把计算结果保存
sc.textFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).saveAsTextFile("/root/out")
转载于:https://www.cnblogs.com/feifeicui/p/10485427.html
大数据学习——spark安装相关推荐
- 大数据之spark学习记录二: Spark的安装与上手
大数据之spark学习记录二: Spark的安装与上手 文章目录 大数据之spark学习记录二: Spark的安装与上手 Spark安装 本地模式 Standalone 模式 基本配置 步骤1: 复制 ...
- 24.大数据学习之旅——spark手把手带你入门
Spark介绍 Apache Spark™ is a fast and general engine for large-scale data processing. Spark Introduce ...
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
- 大数据学习笔记二:Ubuntu/Debian 下安装大数据框架Hadoop
文章目录 安装Java 为Hadoop创建用户 安装Hadoop 配置Hadoop 配置环境变量 设置配置文件 格式化namenode 启动hadoop集群 访问hadoop集群 大数据学习系列文章: ...
- 大数据学习笔记一:大数据的发展历程--MapReduce,Hive,Yarn,Hadoop,Spark,Flink
大数据学习系列文章:大数据-博客专栏 今天在学习极客时间专栏:<从0开始学大数据> 从预习 01 | 大数据技术发展史:大数据的前世今生到预习 03 | 大数据应用领域:数据驱动一切,系统 ...
- 大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
大数据学习系列之八----- Hadoop.Spark.HBase.Hive搭建环境遇到的错误以及解决方法 参考文章: (1)大数据学习系列之八----- Hadoop.Spark.HBase.Hiv ...
- 大数据学习,涉及的知识点
大数据技术都包括哪些,如何学习大数据技术.首先我们要了解Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什 ...
- 小白如何学习大数据开发,大数据学习路线是怎样的?
零基础的同学学习大数据开发不能急于求成,要分阶段分步骤来一步步完成,科多大数据给大家来分享一下大数据的学习路线是什么?小白该怎么学习大数据呢,大概可以分为四步: 大数据学习资料分享群142973723 ...
- python 大数据学习 遇到的问题,及解决方法。
最近开始跟随<子雨大数据之Spark入门教程(Python版)> 学习大数据方面的知识. 这里是网页教程的链接: http://dblab.xmu.edu.cn/blog/1709-2/ ...
最新文章
- 买粮油也能玩出新花样?京东超市携手金龙鱼带来狗年礼盒!
- 送餐送货机器人、自动驾驶车、扫地机器人,再也不用担心撞上玻璃橱窗了丨CVPR2020...
- Spark-SQL从MySQL中加载数据以及将数据写入到mysql中(Spark Shell方式,Spark SQL程序)
- tomcat配置与优化
- LED闪烁和流水灯,调试教程,在线仿真器的使用
- SQL server 2005 如何批量修改架构名(包括表名和存储过程名) .
- Flutter实战一Flutter聊天应用(十三)
- EF分组后把查询的字段具体映射到指定类里面的写法
- 如何提升沟通技能与提出解决方案
- 整理最全的Java笔试题库之问答题篇-国企笔试题库
- weex的组件 web的使用(结合webview模块)
- 【HLA】初识HLA/RTI
- 仿QQ音乐的歌词滚动
- 计算机负数是取反加1,负数补码是取反加一,但-42取反后末位是1,如何加1?
- wow私服,arcemu trunk源码编译架设
- 删除后别人的微信号变成wxid_“重新做人”?安卓版微信支持修改微信号,网友:哭了...
- 亲测有效——win10自带的Edge浏览器打不开网页
- js 控制字符串长度 区分中英文
- log(一)——MDC入门
- 区块链最好的编程语言是什么?