Steamsets安装教程
本教程以Streamsets3.8.0为例子进行安装
Streamsets安装包介绍
Streamsets官网下载地址: https://streamsets.com/opensource
从图片中可以看出,Streamsets提供了多种安装途径,每个人可以根据自己的实际情况选择合适的安装方式。个人推荐core tarball和full tarball这两种安装方式,它们都是Streamsets压缩包,下载好以后只需上传到服务器中解压即可使用,这两者的区别在于core tarball只拥有streamsets核心内容,所以下载文件较小(约350m),而full tarball则是把所有streamsets核心安装包和额外的插件安装包全部打包,所以下载文件较大(4.82g),建议下载full tarball安装包,虽然安装包较大但是可以在下载成功后解压安装包,然后把一部分不需要的插件安装包删除后重新打包即可上传至服务器中使用,而core tarball在线下载插件安装包则下载速度较慢,无法管理下载状况,而且还经常会因服务器在国外容易出现下载失败的问题。
Full tarball插件安装包路径是在${Streamsets}/streamsets-lib,该目录下每一个目录对应一个插件安装包,可以根据名字大概判断插件安装包的作用,可以根据需求自行删除。
Streamsets安装步骤
Streamsets运行需要java1.8环境,此处就不详细介绍java的安装方式了
从官网中下载Streamsets压缩包,上传到服务器中并解压;
修改${Streamsets}/bin/streamsets文件权限
chmod 777 ${Streamsets}/bin/streamsets
修改${Streansets}/libexec 目录下文件权限
chmod 777 ${Streansets}/libexec/_*chmod 777 ${Streansets}/libexec/sdc*
修改${Streamsets}/libexec/sdc-env.sh内容
export SDC_DATA=/var/lib/sdc //Streamsets运行时的一些必须详信息存放目录 export SDC_DATA=/var/lib/sdc //Streamsets运行时日志存放目录 export SDC_FILE_LIMIT="${SDC_FILE_LIMIT:-20480}" //Streamsets程序最大文件打开数量限制,如果有相关报错可以调小这个参数或者以root用户调大机器最大文件打开数量限制 export SDC_JAVA_OPTS="-Xmx12288m -Xms12288m -server -XX:-OmitStackTraceInFastThrow ${SDC_JAVA_OPTS}" //Streamsets运行配置信息
修改${Streamsets}/etc/sdc.properties内容
http.port=18630 //Streamsets web访问端口production.maxBatchSize=1000 //Streamsets 每一批次处理数据最大数量,可以把该参数调大后后续在Pipeline控制大小pipeline.max.runners.count=50 //Pieline最大数量,可以根据实际情况适当调大
以上参数调整好以后通过命令行启动
bin/streamsets dc
见到该界面后说明Streamsets已启动成功,接下来默认以admin/admin用户登录即可开始使用。
Steamsets安装教程相关推荐
- 【网站汇总】安装教程系列
目录 1.Anaconda 2.Pytorch 3.Tensorflow 4.LaTeX 5.博客搭建 1.Anaconda [CV]Anaconda 安装教程_Fannnnf的博客-CSDN博客 2 ...
- oracle 11g完全安装教程(CentOS)
oracle下载链接:http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html oracle ...
- vs安装一直在提取文件_Visual Studio 2019下载及安装教程
宸1分钟前 这可是我珍藏多年的资源啊. Visual Studio 2019 Microsoft Visual Studio(简称VS)是美国微软公司的开发工具包系列产品.是目前最流行的Windows ...
- 这套完美的Java环境安装教程,完整,详细,清晰可观,让你一目了然,简单易懂。⊙﹏⊙...
JDK下载与安装教程 2017年06月18日 22:53:16 Danishlyy1995 阅读数:349980 版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csd ...
- iOS7系统iLEX RAT冬青鼠安装教程:无需刷机还原纯净越狱系统
全网科技 温馨提醒:iLEX RAT和Semi-Restore的作用都是让你的已越狱的设备恢复至越狱的初始状态. 可是要注意无论你是用iLexRAT冬青鼠还是Semi-restore.对于还原来说都存 ...
- TensorFlow2.0 系列开篇: Windows下GPU版本详细安装教程
点击上方"Datawhale",选择"星标"公众号 第一时间获取价值内容 [导读]今年三月谷歌在TensorFlow开发者峰会上宣布TensorFlow 2.0 ...
- mysql为什么每天0点就装东西_MySQL的详细安装教程
1.安装之前需要注意的几点 建议不要安装最新版本,一般找mysql5.0系列版本即可: mysq1官网有.zip和.msi两种安装形式: zip是压缩包,直接解压缩以后使用的,需要自己配置各种东西:m ...
- Centos7上安装oracle11g/12c的安装教程推荐及注意事项
Centos7上安装oracle11g的安装教程推荐及注意事项 历时一天半,终于在今天中午安装完oracle11g,成功后喜悦的心情自是溢于言表.总有些疑问,比如为何如此复杂的数据库为何还会有如此之多 ...
- ROS 不能再详细的安装教程
ROS 不能再详细的安装教程 版权声明:本文为博主原创文章,转载请标明出处: http://www.cnblogs.com/liu-fa/p/5779206.html 关于ROS(Robot OS 机 ...
最新文章
- NFV — 安全策略
- 牛客网 PAT乙级(Basic Level)练习题 1023 考新郎
- linux 线程_浅谈Linux线程模型
- Atitit 理解Monad attilax总结
- 查看oracle当前的连接数
- 干货!操作系统基础知识汇总!转给要面试的同学吧
- java string对象放在什么区域_java中String对象的存储位置
- 20180918-1 词频统计
- python-code-11
- 查看计算机的硬盘的命令,硬盘修复,教您怎么用系统命令检查硬盘
- PS制作精美QQ流光头像详细教程
- 列举组合的所有情况(多层嵌套for循环与递归)
- leetcode:递增的三元子序列
- 无人直播慢直播设备介绍
- 数据类型-浮点型(C语言)
- ZZULIOJ 1170
- AndroidStudio找不到模拟器,也无法连接手机,提示adb.exe start-server' failed -- run manually if necessary...
- 【103期分享】4款小清新PPT模板免费下载
- 计算机组成原理实验 第六章,计算机组成原理实验
- MySQL 表名与MySQL关键字冲突导致插入数据BadSqlGrammarException