大数据技术-StreamX学习笔记
目录
- 部署StreamX
- 集成Flink Stream
- 集成Flink Sql
部署StreamX
官网地址http://www.streamxhub.com/docs/intro
解压streamx安装包
tar -zxvf streamx-console-service-1.2.2-bin.tar.gz -C /opt/module
部署streamx平台
在mysql中创建数据库
mysql> create database streamx charset utf8 collate utf8_general_ci;
初始化表
use streamx;
source /opt/module/streamx-console-service-1.2.2/script/final.sql
配置连接信息vim streamx-console-service-1.2.2/conf/application.yml
启动server
/opt/module/streamx-console-service-1.2.2/bin/startup.sh
访问页面http://服务器:10000/，默认用户名admin，密码streamx
系统配置
配置Flink Home
集成Flink Stream
编写flink项目，并将代码推送到远程仓库
pom依赖和打包方式
<properties><flink.version>1.13.6</flink.version><scala.binary.version>2.11</scala.binary.version><slf4j.version>1.7.30</slf4j.version></properties><dependencies><dependency><groupId>org.apache.flink</groupId><artifactId>flink-java</artifactId><version>${flink.version}</version><scope>provided</scope></dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java_${scala.binary.version}</artifactId><version>${flink.version}</version><scope>provided</scope></dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-clients_${scala.binary.version}</artifactId><version>${flink.version}</version><scope>provided</scope></dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-runtime-web_${scala.binary.version}</artifactId><version>${flink.version}</version><scope>provided</scope></dependency><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-api</artifactId><version>${slf4j.version}</version><scope>provided</scope></dependency><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId><version>${slf4j.version}</version><scope>provided</scope></dependency><dependency><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-to-slf4j</artifactId><version>2.14.0</version><scope>provided</scope></dependency></dependencies><build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-shade-plugin</artifactId><version>3.2.4</version><executions><execution><phase>package</phase><goals><goal>shade</goal></goals><configuration><artifactSet><excludes><exclude>com.google.code.findbugs:jsr305</exclude><exclude>org.slf4j:*</exclude><exclude>log4j:*</exclude></excludes></artifactSet><filters><filter><!-- Do not copy the signatures in the META-INF folder.Otherwise, this might cause SecurityExceptions when using the JAR. --><artifact>*:*</artifact><excludes><exclude>META-INF/*.SF</exclude><exclude>META-INF/*.DSA</exclude><exclude>META-INF/*.RSA</exclude></excludes></filter></filters><transformers combine.children="append"><transformerimplementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"></transformer></transformers></configuration></execution></executions></plugin></plugins></build>
编写一个最简单的测试，并流推送到远程代码仓库
配置项目
编译项目
第一次编译需要的时间比较久, 因为需要下载许多的依赖，编译成功会呈现上图的SUCCESSFUL绿色标签
提交应用
确认执行结果
集成Flink Sql
编写Flink Sql
create table s1 (id string,ts bigint,vc int
) with('connector' = 'kafka','topic' = 's1','properties.bootstrap.servers' = 'hadoop102:9092,hadoop103:9092,hadoop104:9092','properties.group.id' = 'czs','scan.startup.mode' = 'latest-offset','format' = 'csv'
);create table s2 (id string,ts bigint,vc int
) with('connector' = 'print'
);insert into s2 select * from s1;
准备依赖
<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.13.6</version>
</dependency>
大数据技术-StreamX学习笔记相关推荐
- 大数据技术-Kerberos学习笔记
目录 Kerberos概述 Kerberos部署 Kerberos基本使用 Kerberos数据库操作 Kerberos认证操作 Kerberos生成Keytab Hadoop Kerberos配置 ...
- 尚硅谷大数据技术Spark教程-笔记01【Spark(概述、快速上手、运行环境、运行架构)】
视频地址:尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据技术Spark教程-笔记01[Spark(概述.快速上手.运行环境.运行架构)] 尚硅谷大数据技术Spark教 ...
- 尚硅谷大数据技术Spark教程-笔记09【SparkStreaming（概念、入门、DStream入门、案例实操、总结）】
尚硅谷大数据技术-教程-学习路线-笔记汇总表[课程资料下载] 视频地址:尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据技术Spark教程-笔记01[SparkCore ...
- 尚硅谷大数据技术Zookeeper教程-笔记01【Zookeeper(入门、本地安装、集群操作)】
视频地址:[尚硅谷]大数据技术之Zookeeper 3.5.7版本教程_哔哩哔哩_bilibili 尚硅谷大数据技术Zookeeper教程-笔记01[Zookeeper(入门.本地安装.集群操作)] ...
- 尚硅谷大数据技术Scala教程-笔记04【集合】
视频地址:尚硅谷大数据技术之Scala入门到精通教程(小白快速上手scala)_哔哩哔哩_bilibili 尚硅谷大数据技术Scala教程-笔记01[Scala课程简介.Scala入门.变量和数据类型 ...
- 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy）】
视频地址:尚硅谷大数据Spark教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据技术Spark教程-笔记01[Spark(概述.快速上手.运行环境.运行架构)] 尚硅谷大数据技术Spark教 ...
- 尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】
视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01[大数据概论] 尚硅谷大数据技术Hadoop教程-笔记02[Hadoop-入 ...
- 尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】
视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01[大数据概论] 尚硅谷大数据技术Hadoop教程-笔记02[Hadoop-入 ...
- 大数据Hadoop教程-学习笔记01【大数据导论与Linux基础】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程,总时长:14:22:04 教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g,提取码: ...
最新文章
- .net2.0网站多语言
- WindowsPhone基础琐碎总结-----数据绑定（一）
- Linux性能监控和调试
- WinAPI: waveInGetNumDevs - 获取波形输入设备的数目
- SEO（搜索引擎最佳化）简介
- 【力荐】Exadata火线救援：10TB级数据修复经典案例详解！
- boost::gil::extend_boundary用法的测试程序
- python中函数提高代码执行速度吗_为什么Python代码在一个函数中运行得更快？
- python数据类型基础与解压缩
- 第一节 7算述运算符
- 升降摄像头设计！realme X今日亮相：现已在多平台开启预约
- Spark的动态资源分配ExecutorAllocationManager
- centos 6.5 x64 上安装mariadb10
- anaconda如何装python_如何在已安装Python条件下，安装Anaconda,，并将原有Python添加到Anaconda中...
- 从排列与组合的python实现到生日问题的解释
- NSNotificationCenter详解
- C# 后台服务器端 Get 请求函数封装
- 高手详解SQL性能优化十条经验
- HTML5期末大作业：我的家乡网站设计——可以根据百度百科更换家乡适用多数我的家乡
- 【测试】兼容性测试云真机测试平台