将流数据输出到Mysql中

outputMysqlApp.scala

import java.sql.DriverManagerimport org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext }object outputMysqlApp extends App {//配置入口点val conf = new SparkConf().setAppName(getClass.getSimpleName).setMaster("local[2]")val ssc= new StreamingContext(conf, Seconds(1))//输入数据流（DStream）val lines = ssc.socketTextStream("localhost", 9999)//todo...val words = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)//  方式三：words.foreachRDD ( rdd => {rdd.foreachPartition(partitionOfRecords => {if (partitionOfRecords.size > 0) {val connection = createNewConnection()partitionOfRecords.foreach(record => {val sql = "insert into wordcount(word, wordcount) vlaues('" + record._1 + "'," + record._2 + ")"connection.createStatement().execute(sql)})connection.close()}})})//启动StreamingContext，接收数据，然后处理数据ssc.start()ssc.awaitTermination()//创建Mysql数据库连接/**/*** 获取Mysql数据库连接* @return    注意返回值，这块不能为空*/def createNewConnection()= {Class.forName("com.mysql.jdbc.Driver")DriverManager.getConnection("jdbc:mysql://192.168.1.100:3306/streaming_mysql","root","root")}
}

转载于:https://www.cnblogs.com/suixingc/p/jiang-liu-shu-ju-shu-chu-daomysql-zhong.html

将流数据输出到Mysql中相关推荐

如何把ACCESS的数据导入到Mysql中
本源:网海拾贝在设立设备网站的历程中,屡屡要处置一些数据的导入及导出．在Mysql数据库中,有两种方法来处置数据的导出(伟大)． 1. 运用select * from table_name into ...
mysql access 2017_如何把Access的数据导入到Mysql中
在建设网站的过程中,经常要处理一些数据的导入及导出.在Mysql数据库中,一般有两种方法来处理数据的导出: 1. 使用select * from table_name into outfile &qu ...
Spark-SQL从MySQL中加载数据以及将数据写入到mysql中（Spark Shell方式，Spark SQL程序）
1． JDBC Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中. 1.1．从MySQ ...
matlab将数据输出到excel中,matlab将数据保存为excel表格-怎样将MATLAB中的数据输出到excel中...
怎样将MATLAB中的数据输出到excel中? xlswrite()函数可以将matlab中数据保存到excel中,请面例子: >> data = magic(5) % 示例数据 data ...
mysql shell可视化_shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中...
shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中利用shell脚本将文本数据导入到mysql中需求1:处理文本中的数据,将文本中的数据插入到mys ...
spark mysql 写_Spark-SQL从MySQL中加载数据以及将数据写入到mysql中（Spark Shell方式，Spark SQL程序）...
1． JDBC Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame,通过对DataFrame一系列的计算后,还可以将数据再写回关系型数据库中. 1.1．从MySQ ...
mysql端口号3306被占用_使用pandas将excel表格数据导入到mysql中
需要用到的python第三方库:pandas/sqlalchemy 第一步:导入pandas/sqlalchemy库 import pandas as pd import sqlalchemy as ...
matlab将数据输出到excel中,matlab数据输出为excel表格-如何把matlab中的数据导到excel表格中...
如何将matlab工作空间的数据导出到excel 1.很简单的用xlswrite函数就可以了.首先打开matlab,输入你的代码 2.找到你要存放文件的位置复制绝对路径(致谢文件名的话就会存放在当前目 ...
小猪的Python学习之旅 —— 20.抓取Gank.io所有数据存储到MySQL中
小猪的Python学习之旅 -- 20.抓取Gank.io所有数据存储到MySQL中标签:Python 一句话概括本文: 内容较多,建议先mark后看,讲解了一波MySQL安装,基本操作,语法速成, ...

将流数据输出到Mysql中

将流数据输出到Mysql中相关推荐

最新文章

热门文章