机器学习算法平台alink_阿里正式开源通用算法平台Alink,“双11”将天猫推荐点击率提升4...
关于 Alink 的使用问题
Q:能否连接远程 Flink 集群进行计算?A:通过方法可以连接一个已经启动的 Flink 集群:useRemoteEnv(host, port, parallelism, flinkHome=None, localIp="localhost", shipAlinkAlgoJar=True, config=None)。其中,参数
- host 和 port 表示集群的地址;
- parallelism 表示执行作业的并行度;
- flinkHome 为 flink 的完整路径,默认使用 PyAlink 自带的 flink-1.9.0 路径;
- localIp 指定实现 Flink DataStream 的打印预览功能时所需的本机IP地址,需要 Flink 集群能访问。默认为localhost。
- shipAlinkAlgoJar 是否将 PyAlink 提供的 Alink 算法包传输给远程集群,如果远程集群已经放置了 Alink 算法包,那么这里可以设为 False,减少数据传输。
Q:如何停止长时间运行的Flink作业?A:使用本地执行环境时,使用 Notebook 提供的“停止”按钮即可。使用远程集群时,需要使用集群提供的停止作业功能。Q:能否直接使用 Python 脚本而不是 Notebook 运行?A:可以。但需要在代码最后调用 resetEnv(),否则脚本不会退出。使用步骤使用前准备:
确保使用环境中有Python3,版本>=3.5;
需要根据 Python 版本下载对应的 pyalink 包(下载链接参见GitHub);
使用 easy_install 进行安装 easy_install [存放的路径]/pyalink-0.0.1-py3.*.egg。需要注意的是:
如果之前安装过 pyalink,请先使用 pip uninstall pyalink 卸载之前的版本。
如果有多个版本的 Python,可能需要使用特定版本的 easy_install,比如 easy_install-3.7。
如果使用 Anaconda,则需要在 Anaconda 命令行中进行安装。
开始使用:
阿里推荐通过 Jupyter Notebook 来使用 PyAlink,能获得更好的使用体验。pyAlink使用步骤:
- 在命令行中启动Jupyter:jupyter notebook,并新建 Python 3 的 Notebook 。
- 导入 pyalink 包:from pyalink.alink import *。
- 使用方法创建本地运行环境:useLocalEnv(parallism, flinkHome=None, config=None)。其中,参数 parallism 表示执行所使用的并行度;flinkHome 为 flink 的完整路径,默认使用 PyAlink 自带的 flink-1.9.0 路径;config为Flink所接受的配置参数。运行后出现如下所示的输出,表示初始化运行环境成功:
JVM listening on ***Python listening on ***
4.开始编写 PyAlink 代码,例如:
source = CsvSourceBatchOp()\ .setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string")\ .setFilePath("http://alink-dataset.cn-hangzhou.oss.aliyun-inc.com/csv/iris.csv")res = source.select("sepal_length", "sepal_width")df = res.collectToDataframe()print(df)
编写代码:
在 PyAlink 中,算法组件提供的接口基本与 Java API 一致,即通过默认构造方法创建一个算法组件,然后通过 setXXX设置参数,通过link/linkTo/linkFrom与其他组件相连。这里利用 Jupyter 的自动补全机制可以提供书写便利。对于批式作业,可以通过批式组件的 print/collectToDataframe/collectToDataframes等方法或者 BatchOperator.execute()来触发执行;对于流式作业,则通过 StreamOperator.execute() 来启动作业。
如何在集群上运行Alink算法
1.准备Flink集群
wget https://archive.apache.org/dist/flink/flink-1.9.0/flink-1.9.0-bin-scala_2.11.tgz tar -xf flink-1.9.0-bin-scala_2.11.tgz && cd flink-1.9.0 ./bin/start-cluster.sh
2.准备Alink算法包
git clone https://github.com/alibaba/Alink.git cd Alink && mvn -Dmaven.test.skip=true clean package shade:shade
3.运行Java示例
./bin/flink run -p 1 -c com.alibaba.alink.ALSExample [path_to_Alink]/examples/target/alink_examples-0.1-SNAPSHOT.jar # ./bin/flink run -p 2 -c com.alibaba.alink.GBDTExample [path_to_Alink]/examples/target/alink_examples-0.1-SNAPSHOT.jar # ./bin/flink run -p 2 -c com.alibaba.alink.KMeansExample [path_to_Alink]/examples/target/alink_examples-0.1-SNAPSHOT.jar
(*本文为AI科技大本营整理文章,转载请微信联系 1092722531)
◆
精彩推荐
◆
开幕倒计时6天|2019 中国大数据技术大会(BDTC)即将震撼来袭!豪华主席阵容及百位技术专家齐聚,十余场精选专题技术和行业论坛,超强干货+技术剖析+行业实践立体解读。6.6 折票限时特惠(立减1400元)倒计时 3 天,学生票仅 599 元!
推荐阅读
字节跳动李航入选ACL Fellow,他曾这样看待机器学习
IEEE Fellow 2020名单揭晓!BDTC 2019重磅嘉宾周伯文、叶杰平、陈宝权上榜
谁是当今最顶级的技术?SQL、Java、Python、C++ 皆上榜!
自学编程、玩 vlog,90 后程序员们的冠军之路
科技公司最爱的50款开源工具,你都用过吗?
大厂面试为什么总考算法?如何避开算法面试?
全球 43 亿 IPv4 地址宣告耗尽
华为电脑终于又能搭载正版 Windows 系统了
初级运营与高级运营的区别:只要一招,快速提升运营效果
昨天Upbit交易所34万ETH被盗,居然是这个服务器被攻击了……
你点的每个“在看”,我都认真当成了AI
机器学习算法平台alink_阿里正式开源通用算法平台Alink,“双11”将天猫推荐点击率提升4...相关推荐
- 阿里正式开源通用算法平台Alink,“双11”将天猫推荐点击率提升4%
整理 | 若名 出品 | AI科技大本营(ID:rgznai100) 近日,阿里云计算部门已在 GitHub 上发布了其 Alink 平台的"核心代码",并上传了一系列算法库,它们 ...
- 争分夺秒:阿里实时大数据技术全力助战双11
摘要: 12月13-14日,由云栖社区与阿里巴巴技术协会共同主办的<2017阿里巴巴双11技术十二讲>顺利结束,集中为大家分享了2017双11背后的黑科技.本文是<争分夺秒:阿里实时 ...
- 阿里开源通用算法平台 Alink!
整理 | 若名 出品 | AI科技大本营 近日,阿里云计算部门已在 GitHub 上发布了其 Alink 平台的"核心代码",并上传了一系列算法库,它们支持批处理和流处理,这对支持 ...
- 之江实验室联合一流科技、中国信通院、浙江大学等共同研发天枢平台,今日正式开源!...
点击蓝字关注我们 本文转自:之江实验室 8月1日上午,之江实验室举行发布会,面向全球开发者开源上线"之江天枢人工智能开源平台"."之江天枢"平台由之江实验室联合 ...
- 算法工程师的必备学习资料,《AI算法工程师手册》正式开源了
2019-05-14 23:41:00 前言 最近前阿里的一位工程师开源了一份网页版的算法工程师学习手册,没有纸质版的图书,直接在线开源,小编去看看了一下,总结的非常到位,几乎涵盖的机器学习.深度学习 ...
- 云管理平台:9大开源云管理平台(CMP)
文章目录 一.什么是CMP? 二.云管理平台的工作原理 三.9大开源云管理平台 1.Apache CloudStack 2.OpenStack 3.ManageIQ 4.Cloudify 5.Mist ...
- 阿里突遭断网断电!双11最惊险一幕刚刚曝光
雷刚 发自 凹非寺 量子位 报道 | 公众号 QbitAI 2020年11月11日晚,又一年天猫双11狂欢接近尾声. 新交易纪录.新流量峰值,一切都是十全十美的样子. 此时,阿里巴巴CTO程立(鲁 ...
- 阿里CTO张建锋:明年双11将大规模应用含光AI芯片
11月11日晚,阿里巴巴集团CTO张建锋宣布重磅消息,明年双11将大规模应用平头哥自研的含光AI芯片. 达摩院研发的AI技术已应用于天猫双11的各个场景.未来,这些人工智能应用将会越来越多跑在阿里自研 ...
- 阿里云异构计算产品是如何保障双11业务的
一年一度的双11购物狂欢节,是全球商家和消费者的盛会,同时也是一场技术的盛会,人脸识别,图片搜索,字符识别,语音识别,8K视频直播,智能推荐,语音助手等最先进的技术手段被广泛使用,为大促的各个环节保驾 ...
最新文章
- go微服务框架-gomicro试用
- C++ 中常用数学函数
- 建行参考码大全ybla_52度五粮液价格表大全 不同系列价钱盘点
- Java中的垃圾回收与对象生命周期
- 【OpenGL从入门到精通(七)】OpenGL中的数学
- [html] 如何在IOS下启用WebApp全屏模式?
- 叮!您收到一份超值Java基础入门资料! 1
- linux18.04循环登陆,ubuntu18.04 循环登陆
- mysql的事务隔离级别
- XML/YAML文件的输入输出
- 优秀的程序员是如何处理技术 Bug 的?
- 小米笔记本重装系统BOOT启动菜单识别不了硬盘无法启动进入系统
- m2增长率曲线_中国通胀率(中国m2历年数据曲线图)
- 绘制微信字体大小调节器
- 计算机硬件未来发展前景,计算机硬件现状及其发展趋势
- ghost还原固态硬盘_不要Ghost和重装 两招把Win7克隆到SSD
- 高并发(水平扩展,垂直扩展)
- android 插屏广告代码,插屏实现说明
- 管理经济学的大作业——边际效应分析在学习生活中的应用
- a链接实现alt提示