kettle 运行方式

图形界面：spoon

命令行：pan、kitchen

API：kettle java API 嵌入到其他应用

spoon

本地：在本地执行

远程：在远程服务器执行，需要远程服务器执行carte

carte是内嵌jetty的http server

carte执...

文章

miles_wong

2016-02-17

1151浏览量

Kettle的四大不同环境工具

kettle里有不同工具，分别用于ETL的不同阶段。

初学者，建议送Spoon开始。高手，是四大工具都会用。

Sqoop： 图形界面工具，快速设计和维护复杂的ETL工作流。集成开发环境，提供了一个图形用户界面，用于创建/编辑作业和转换。Sqoon也额可以用于执行/调试作...

文章

技术小哥哥

2017-11-12

1770浏览量

CarbonData集群模式体验

官方提供了一个快速上手的 Quick-Start ，不过是采用spark-shell local模式的。我这里在实际集群环境做了下测试，并且记录了下过程，希望对大家有所帮助。

前言

之前专门写过一篇CarbonData的文章；由CarbonData想到了存储和计算的关系。可惜碍于时间问题到现在才...

文章

祝威廉

2016-09-11

4795浏览量

浅谈大数据平台架构

什么是大数据平台

有三个疑问：

1.使用Cloudera或Hortonworks之类的Hadoop发行版本公司的提供的Hadoop套件，配置些参数，找几台服务器部署起来就算是一套大数据平台吗?

2.数据开发人员平时的工作是不是写些MR或者SQL任务，使用原生的命令行提交任务就可以了吗?

3.平台开...

文章

whiletrue

2018-09-13

6178浏览量

浅谈大数据平台架构

什么是大数据平台

有三个疑问：

1.使用Cloudera或Hortonworks之类的Hadoop发行版本公司的提供的Hadoop套件，配置些参数，找几台服务器部署起来就算是一套大数据平台吗?

2.数据开发人员平时的工作是不是写些MR或者SQL任务，使用原生的命令行提交任务就可以了吗?

3.平台开...

文章

whiletrue

2020-04-15

400浏览量

轻松上云系列之一：本地数据迁移上云

本文档围绕如何将您的本地数据迁移到阿里云，提供了多个场景的实践方案。12月27日新增：物理机平台、VMWare、Xen/KVM/Hyper-V迁移至阿里云ECS。

背景信息

在云计算服务高速发展的今天，如何方便快捷地将已有的服务器系统迁移上云，有着非常重要的意义。阿里云服务器迁移服务方案，即迁移服...

文章

阿里云文档

2018-12-11

4241浏览量

车联网上云最佳实践(二)

云上对标架构及技术详解我们对传统IDC应用架构进行分析之后，我们发现之前的系统架构存在一些不合理的地方导致了很多的痛点，为了解决这些痛点我们最终考虑上云。开始思考怎样利用云上产品来解决目前遇到的痛点。例如

 为了解决我们自建IDC底层基础设施可靠性差的问题，我们改用云计算服务，基础设施可靠...

文章

云攻略小攻

2018-08-31

3120浏览量

车联网上云最佳实践(三)

三、云上对标架构及技术详解

我们对传统IDC应用架构进行分析之后，我们发现之前的系统架构存在一些不合理的地方导致了很多的痛点，为了解决这些痛点我们最终考虑上云。开始思考怎样利用云上产品来解决目前遇到的痛点。例如

为了解决我们自建IDC底层基础设施可靠性差的问题，我们改用云计算服务，...

文章

zkw9527

2018-08-23

3132浏览量

存储产品线案例与实践总览

根据IDC的相关预测，全球数据圈将从2018年的33ZB增至2025年的175ZB，实现5倍以上的增长。预计到 2025年，中国数据圈将增至48.6ZB，占全球数据圈的27.8%。随着数据的快速增长以及数据生态圈的日益丰富，“存储-使用-管理”全数据生命周期中的每一个环节都承载着用户的审视和考验，...

文章

阿里云开放平台小助手

2020-06-22

254浏览量

万师傅大数据体系实践案例

一、整体架构

每当我在思考技术选型方案的时候，翻翻阿里云的官网，总能找到我想要的东西。于是，我们的大数据体系就变成了这样，如图：

二、离线

2.1 选型原则

团队成员，大都是Hive方向或是算法方向出身。为追求上手简单、专注数据的分析和挖掘、减少不必要的学习成本和费用成本，使用了阿里云MaxCo...

文章

地町你好

2019-06-26

1670浏览量

《企业大数据系统构建实战：技术、架构、实施与应用》——2.2　大数据职位构建体系

本节书摘来自华章计算机《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.2节，作者 吕兆星 郑传峰 宋天龙 杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2　大数据职位构建体系

在团队组建过程中，科学地定义职位体系直接影响到大数据实施的效率和质量，由于大...

文章

华章计算机

2017-07-04

2835浏览量

《机器人操作系统ROS原理与应用》——2.1　大数据组织架构体系

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一 书中的第2章，第2.2节，作者：吕兆星 郑传峰 宋天龙 杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2　大数据职位构建体系

在团队组建过程中，科学地定义职位体系直接影响到大数据实施的效率和质量，由于...

文章

华章计算机

2017-05-02

1480浏览量

《企业大数据系统构建实战：技术、架构、实施与应用》一2.2　大数据职位构建体系

本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.2节，作者吕兆星 郑传峰 宋天龙 杨晓鹏，更多章节内容可以访问云栖社区“华章计算机”公众号查看本节书摘来自华章出版社《企业大数据系统构建实战：技术、架构、实施与应用》一书中的第2章，第2.1节，作者吕兆星...

文章

华章计算机

2017-05-02

3445浏览量

MaxCompute产品最新进展 -- 从马力到计算力

摘要：本文从马力作为功率衡量标准为切入点，介绍了大数据领域的计算力衡量标准TPCBB以及MaxCompute2.0在Big Bench上的卓越表现。同时详细地分享了取得优异成绩背后的产品在最新有哪些进展，帮助大家全面的了解MaxCumpute2.0。另外，对于共有云用户非常关注的-数据安全话题，阿...

文章

隐林

2018-06-15

3043浏览量

大数据与机器学习：实践方法与行业案例.2.2　数据缓冲区

2.2　数据缓冲区

数据缓冲区是处于生产环境和分析环境之间的中间区域，它是数据闭环中各个系统间的数据中转站，从各个系统接收原始数据，并将其暂存在对应的目录中。其他系统可以从数据缓冲区中获取需要的数据文件。

为了便于管理和迁移数据，我们规定存入数据缓冲区中的数据使用文本文件的格式，这样一来，数据缓冲...

文章

华章计算机

2017-05-02

2551浏览量

阿里巴巴飞天大数据平台MaxCompute(原名ODPS)全套攻略(持续更新20200109)

阿里巴巴飞天大数据平台MaxCompute持续进化；

概况介绍

大数据计算服务(MaxCompute，原名ODPS，产品地址：https://www.aliyun....

文章

隐林

2017-05-05

113116浏览量