java 拓展包放哪,安装扩展包(Install External Libraries)
在CDH平台上为Streamsets导入扩展包前, 先设置一个用来存储这些扩展包的目录
在Cloundera管理平台界面中, 选择StreamSets服务 然后点击Configuration.
在 Configuration 页面, 在 Data Collector 高级配置选项中的 (Safety Valve) sdc-env.sh 区域, 增加环境变量 STREAMSETS_LIBRARIES_EXTRA_DIR 并把它指向存放扩展包的目录 , 按照这样的格式:
export STREAMSETS_LIBRARIES_EXTRA_DIR=""
举例:
export STREAMSETS_LIBRARIES_EXTRA_DIR="/opt/sdc-extras/"
默认的路径是:/var/lib/sdc.
在每个运行Data Collector的节点创建目录 /opt/sdc-extras/
在每个节点给 Data Collector 的用户增加扩展目录的权限。
举例来说, 如果你是用用户名和用户组名都是:sdc的用户来运行Data Collector 服务,那么可以使用下面的命令把扩展目录的权限赋予sdc:sdc :
chown -R sdc:sdc /opt/sdc-extras
当使用默认启动的java 安全管理器的时候,需要把扩展包目录加入Data Collector高级配置片段中的sdc-sercurity.policy属性,配置格式如下:
// user-defined external directory grant codebase "
file://-" { permission java.security.AllPermission; };
案例:
// user-defined external directory grant codebase
"file:///opt/sdc-extras/-" { permission java.security.AllPermission; };
重启Data Collector.
相关信息
Step 2. Install External Libraries
配置好扩展包存放目录之后,使用 Data Collector 的Package Manager 来 安装扩展包
在Data Collector界面中,右上角的工具栏中, 点击 Package Manager 图标:
ager-iconrow.png
在导航栏中, 点击 External Libraries:
ExternalLibs.png
Data Collector 会罗列出所有已经安装好的扩展包。
在右上角工具栏的下方, 点击 Install External Libraries 图标:
nstallExtLib.png
在安装扩展包的对话框中, 选择扩展包对应的stage 库。
举例说明, 如果你要按照 JDBC Multitable Consumer源需要的JDBC驱动,选择JDBC stage 库。如果你要给 Groovy Evaluator processor安装java的扩展工具包,则需要选择 Groovy stage库 。
浏览文件找到你要安装的扩展包然后点击Open。
点击 Upload,将扩展包安装到指定的stage库
Data Collector 安装扩展包然后回弹出一个提供重启Data Collector功能的对话框。
要安装更多的扩展包,只需要点击Cancel,然后重复3-6这几个步骤。
比如说,你想要在Spark Evaluator processor中使用一个扩展包,但是你有两个不同版本的processor(每个版本都有自己独立的库)。为了保证扩展包对两个版本的processor都是可用的,你必须把扩展包分别上传到两个版本对应的的stage库下。
After installing all of the external libraries that you want, restart the Data Collector in one of the following ways:
If you started the Data Collector manually from the command line, click Restart Data Collector in the Install External Libraries window.
If you started the Data Collector as a service, you must use the command line for restart. Click Cancel in the Install External Libraries window, and then run the following command:
service sdc restart
当前开发环境扩展包存放路径:
/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.3.0/streamsets-libs/streamsets-datacollector-basic-lib/lib/streamsets-extra-1.0-SNAPSHOT.jar
/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.3.0/streamsets-libs-extras/streamsets-datacollector-basic-lib/lib/streamsets-extra-1.0-SNAPSHOT.jar
// Only need single SHA3, Hex instances
if (!state.sha3 || !state.Hex) {
var DigestSHA3 = Java.type('org.bouncycastle.jcajce.provider.digest.SHA3.DigestSHA3');
state.sha3 = new DigestSHA3(256);
state.Hex = Java.type('org.bouncycastle.util.encoders.Hex');
}
var sha3 = state.sha3;
var Hex = state.Hex;
for(var i = 0; i < records.length; i++) {
var record = records[i];
try {
// Need to reset the message digest object for every field!
sha3.reset();
var digest = sha3.digest(record.value['data'].getBytes('UTF-8'));
record.value.digest = Hex.toHexString(digest);
output.write(record);
} catch (e) {
// Send record to error
error.write(record, e);
}
}
java 拓展包放哪,安装扩展包(Install External Libraries)相关推荐
- python扩展包安装_python怎么安装扩展包
以安装扩展包SymPy为例: 方式一: 格式:pip install xxx //xxx:包名 示例:pip install SymPy 方式二: 如果有安装Git,也可以使用pip+git的方式安装 ...
- 如何在vsc上下载php扩展包,正确的 Composer 扩展包安装方法
问题说明 我们经常要往现有的项目中添加扩展包,有时候因为文档的错误引导,如下图来自 这个文档 的: composer update 这个命令在我们现在的逻辑中,可能会对项目造成巨大伤害. 因为 com ...
- composer安装扩展包异常
我是tp5.1下,用composer安装扩展包,在命令行运行,无任何不反应,不下载也不报错,这时,我们先ctrl+c退出执行的命令,然后在tp5.1根目录下,找到composer.json文件,并用编 ...
- pip升级python包命令_python安装扩展库常用的是什么工具
pip 是 Python 包管理工具,该工具提供了对Python 包的查找.下载.安装.卸载的功能. 目前如果你在 http://python.org 下载最新版本的安装包,则是已经自带了该工具. P ...
- 群晖python套件包_群晖中给Python3安装pip工具以安装扩展包
重要:本文最后更新于2021-02-01 22:34:49,某些文章具有时效性,若有错误或已失效,请在下方留言或联系代码狗. 今天折腾这群晖迷你Linux系统的时候遇到一个问题,Python写的程序基 ...
- Mac M1 brew安装php pecl安装扩展包失败解决方案
前言: 电脑是新到的,纯净环境安装的brew,正常装了php7.4,结果pecl装啥都不成,重装n多次,折腾了一下午都没解决. 下面是环境参数: 报错信息: 网上查遍了,没有一个有用的,最后突发奇想, ...
- Thinkphp使用composer安装扩展包教程
一.删除php禁用函数putenv 1.可以在宝塔面板的PHP管理 → 禁用函数 → 删除putenv 2.也可以在php的配置文件php.ini里搜索disable_functions,然后删除 ...
- 超适合新手使用的教程:Python环境配置+Pycharm安装+扩展包安装(以Numpy+mkl为例)
目录 一.Python环境配置 1.Python下载 2.python安装 3.Python验证安装 二.Pycharm环境配置 1.pycharm下载 2.pycharm配置python 3.pyc ...
- 【Google Play】APK 扩展包 ( 2021年09月02日最新处理方案 | 制作 APK 扩展包 | 上传 APK 扩展包到 Google Play | APK 扩展文件上传时机 )
文章目录 一.制作 APK 扩展包 二.上传 APK 和 主扩展文件到 Google Play 三.APK 扩展文件上传时机 一.制作 APK 扩展包 apk.txt 内容 : APK 扩展文件测试文 ...
最新文章
- linux环境下python的部署
- EBCDIK,EBCDIC,ASCII,shift JIS間の変換
- 学会这9招,你也能成为演讲高手
- 输入10个数,根据提示进行从小到大输出或从大到小输出
- c# list转为json_ASP.net把datatable与list转成json输出
- Struts2面试问答
- 娜塔莉波特曼2015哈佛毕业演讲
- Linux下尝鲜IDE Rider .NET又一开发利器
- vue打包后获取不到数据_vue 打包后,如何修改接口地址?
- openssl中算法的组织方式
- 台达a2_台达伺服ASDA-A2系列解决五轴CNC方案助力雕刻机行业换代升级
- 只需4步,微软数据科学家教你用OpenRefine搞定数据清洗
- vue-事件修饰符-详解(.prevent .stop .once .capture .self)
- OnTime pro for mac(多功能时钟工具)
- 每日一博 - 3D架构图 cloudcraft
- 谷歌浏览器Chrome无法搜索Google的解决办法
- 哪个免费查重系统会更靠谱呢?
- 塔防游戏c语言源代码,用Unity开发一款塔防游戏(一):攻击方设计
- 利用RSoft的BPM算法对光波导和简单光波导器件进行仿真
- Ubuntu13.04下让宏碁Aspire4750G屏幕亮度可调节