阿里ODPS架构与SQL过程

ODPS架构图

整个ODPS分为
1. 客户端层
本层体现为用户使用的客户端：java/python soft develop kits、command line interface、Integrated Development Environment、这些工具都是对底层REST API的封装，最后的操作都是在调用底层的API函数。用户通过这些工具实现对ODPS资源的ETL操作，以及对ODPS的状态、权限等事项的管控。
2. 接入层
本层体现为各种路由、交换机以及http servers。负责用户认证、将用户们发来的请求发送到服务器中。
a.先通过LVS负载均衡将用户请求转发到服务器集群上去。
b.再在服务器上将用户请求转发到云账户认证服务器做AccessId校验以及消息校验。验证通过后返回用户accountID信息给服务器集群，集群再将请求详细发给逻辑层。
3. 逻辑层
本层为ODPS分布式处理软件的各个模块。主要包括SQL Planner、Worker（请求处理器）、Scheduler（调度器）、Executor（作业执行管理）、MetaStore（元数据表示）。
a.Worker负责处理请求的接入、本地用户空间|表|资源|任务状态信息等的查询管理、将SQL、MR等分布式计算任务提交给Scheduler。
b.Scheduler负责查询集群的内存、CPU等状态以便实现对Instance的调度。Instance就是用户的一次请求，一个Instance会被分解成多个小task组成的DAG工作流，可以被执行的小tasks会被放在taskPool中，并结合资源状况计算优先级排序。（类似YARN:resource manager）
c.tasker聚集的资源达到要求时，向taskPool申请一个task，生产并将‘task描述文件.xml’提交给下一层:计算层。还要监控tasks的running status并返回给Scheduler。
4. 存储/计算层
a.‘盘古’文件存储系统的存储形式CFile

文件中的一列可以存在多个block里，一个block最多64M且存储的都是同一类型数据，这是为了方便数据压缩。
索引区中指明了每个文件中各个列对应的block存储位置，以及存储在该block中的数据个数。
元信息区汇总用户文件中各个列的基本信息。
b.选用OTS实现元数据的快速读写，水平扩容与资源隔离。

阿里ODPS架构与SQL过程相关推荐

阿里P8架构师谈：Web前端、应用服务器、数据库SQL等性能优化总结
web前端性能优化 Web前端指网站业务逻辑之前的部分,包括: 1.浏览器加载 2.网站视图模型 3.图片服务 4.CDN服务等主要优化手段有优化浏览器访问,使用反向代理,CDN等. 1.浏览器访问 ...
阿里P8架构师谈：MySQL数据库的索引原理、与慢SQL优化的5大原则
MySQL凭借着出色的性能.低廉的成本.丰富的资源,已经成为绝大多数互联网公司的首选关系型数据库.虽然性能出色,但所谓"好马配好鞍",如何能够更好的使用它,已经成为开发工程师的必修 ...
阿里P8架构师谈：数据库、JVM、缓存、SQL等性能调优方法和原则
编辑性能优化基本是BAT等一线互联网公司程序员必备的技能,以下为大家完整揭晓性能完整的优化方案和方法:包含web网站调优.数据库.JVM调优.架构调优等方案. 第一:Web网站调优 1.尽可能减少H ...
人人皆可大数据！SACC教你玩转阿里ODPS
人人皆可大数据!SACC教你玩转阿里ODPS [IT168 专稿]为什么我们使用搜索引擎时,不同的用户搜索同样的关键词看到的广告却不同?为什么我们到电子商务网站购物时,每次浏览同样的商品时都可以 ...
阿里P8架构师谈：淘宝技术架构从1.0到4.0的架构变迁！附架构资料
淘宝技术架构变迁自2003年创立以来的,淘宝业务发展非常迅速,几乎是每年以100%的速度在成长.创立之初,为了快速上线,抢占市场,选择了当时流行的LAMP架构,用PHP作为网站开发语言, Linux ...
mysql 左连接b表的一条数据_阿里java架构师教你怎么用mysql怒怼面试官
转载地址: 阿里java架构教你怎么用mysql怒怼面试官www.jianshu.com 说一下mysql比较宏观的面试,具体咋写sql的这里就不过多举例了.后面我还会给出一个关于mysql面试优化 ...
阿里P8架构师谈：从单体架构、到SOA、再到微服务的架构设计详解
本文涉及的内容以及知识点如下: 1.单体架构 2.单体架构的拆分 3.SOA与微服务的区别 4.微服务的优缺点 5.微服务的消息 6.服务集成 7.数据的去中心化单体架构 Web应用程序发展的早期, ...
阿里P8架构师谈：流量高峰时期的性能瓶颈有哪些、以及如何来解决
在高并发大量用户的场景,系统一般会面临如下三个挑战: 1. 日益增长的用户数量 2. 日渐复杂的业务 3. 急剧膨胀的数据这些挑战对于性能优化而言表现为:在保持和降低系统TP95响应时间(指的是将一 ...
阿里P8架构师谈：什么是缓存雪崩？服务器雪崩的场景与解决方案
什么是应用服务雪崩雪崩问题分布式系统都存在这样一个问题,由于网络的不稳定性,决定了任何一个服务的可用性都不是 100% 的.当网络不稳定的时候,作为服务的提供者,自身可能会被拖死,导致服务调用者阻 ...

阿里ODPS架构与SQL过程

ODPS架构图

阿里ODPS架构与SQL过程相关推荐

最新文章

热门文章