Spark 学习笔记——001【spark-mysql+spark-hive】

在本地提交 spark-submit

spark-sql 窗口的进入

 ./spark-sql --master local[4]  --jars /home/hadoop/software/mysql-connector-java-5.1.27-bin.jar \--driver-class-path  /home/hadoop/software/mysql-connector-java-5.1.27-bin.jar

spark 提交任务

./bin/spark-submit \--class test001 \--master local \/home/hadoop/jars/com.xx.bigdata-2.0.jar  \/home/hadoop/data/84-0.txt /home/hadoop/data/result

spark 入门案例的

import org.apache.spark.{SparkConf, SparkContext}/*** Created by laiji on 2021/12/5.*/
object test001 {def main(args: Array[String]): Unit = {//导入隐饰操作，否则RDD无法调用toDF方法val outpu_path=args(1)val input_path=args(0)//      args(0)val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local[4]")val sc = new SparkContext(conf)val data = sc.textFile(input_path)val result = data.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_).sortBy(x=>x._2,false)result.saveAsTextFile(outpu_path)sc.stop()}
}

spark 读写mysql

##maven  加载对应的依赖<dependency><groupId>com.typesafe</groupId><artifactId>config</artifactId><version>1.3.3</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.47</version></dependency>

读写mysql

import org.apache.spark.sql.{SaveMode, SparkSession}
import java.util.Properties
/*** Created by laiji on 2021/12/8.*/
object session_source_jdbc {def main(args: Array[String]): Unit = {val session = SparkSession.builder().master("local[4]").appName("read_jdbc").getOrCreate()import session.implicits._val url="jdbc:mysql://192.168.2.123:3306/hadoop_hive?useUnicode=true&characterEncoding=UTF-8"val table="TBLS"val reader = session.read.format("jdbc").option("url", url).option("dbtable", table).option("driver", "com.mysql.jdbc.Driver").option("user", "root").option("password", "root")val frame = reader.load()frame.createOrReplaceTempView("temp1")val frame1 = session.sql("select TBL_ID,CREATE_TIME,OWNER  from temp1 where SD_ID<=8")frame1.show()val url_local=" jdbc:mysql://localhost:3306/mysql001?useUnicode=true&characterEncoding=UTF-8"val prop = new Properties()prop.setProperty("user", "root")prop.setProperty("password", "123456")print("mysql 链接成功")//    frame1.write.mode(saveMode ="append").jdbc(url_local,"spark2myql",prop)print("-----")session.stop()}case class person(name:String,age:Int)
}

Spark 学习笔记——001【spark-mysql+spark-hive】相关推荐

Spark学习笔记1——第一个Spark程序：单词数统计
Spark学习笔记1--第一个Spark程序:单词数统计笔记摘抄自 [美] Holden Karau 等著的<Spark快速大数据分析> 添加依赖通过 Maven 添加 Spark-c ...
Spark学习笔记[1]-scala环境安装与基本语法
Spark学习笔记[1]-scala环境安装与基本语法正所谓工欲善其事必先利其器,Spark的开发语言不是java而是scala,虽然都是运行于JVM,但是两门语言的基本特性还是有些不一样,这里 ...
spark 学习笔记
spark 学习笔记 spark介绍 Spark是是一种快速通用的集群计算系统,它的主要特点是能够在内存中进行计算.它包含了 spark 核心组件 spark-core,用于 SQL 和结构化处理数据 ...
HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
HiveQL学习笔记（五）：Hive练习题
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
MySQL学习笔记_关于MySQL的字符类型VARCHAR长度知识总结
MySQL学习笔记_关于MySQL的字符类型VARCHAR长度知识总结一.VARCHAR存储和行长度限制 1.VARCHAR(N)中,N指的是字符的长度,VARCHAR类型最大支持65535,指的是 ...
activiti7关联mysql_学习笔记：一个MySQL实例有多个Activiti数据库问题
学习笔记:一个MySQL实例有多个Activiti数据库问题使用SpringBoot + activiti6 搭建审批流项目,数据库使用的是MySQL.且我的数据库下存在多个activiti相关的数 ...
HiveQL学习笔记（四）：Hive窗口函数
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
HiveQL学习笔记（三）：Hive表连接
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
HiveQL学习笔记（二）：Hive基础语法与常用函数
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...

Spark 学习笔记——001【spark-mysql+spark-hive】

在本地提交 spark-submit

spark-sql 窗口的进入

spark 提交任务

spark 入门案例的

spark 读写mysql

读写mysql

Spark 学习笔记——001【spark-mysql+spark-hive】相关推荐

最新文章

热门文章