阿里研发:核心系统--中间件--阿里云--yunOS介绍

分类： 1.1 自然科学 1.2.1.1 职业规划 1.3 学习方法 1.1.1 信息技术 1.1.1.1 操作系统OS 1.1.1.2 OS-JVM及GC 1.1.1.7 程序语言-框架 2014-03-10 21:55 28人阅读评论(0) 收藏举报

目录(?)[+]

阿里集团硬件和C/C++核心系统的规划

现在主要的产品线包括：

TFS：支持海量（PB级别）、异地容灾、多点写入、非结构化对象存储的分布式存储系统，持续优化性能、成本和功耗。
TAIR：高性能、可扩展、高可靠的分布式对象缓存与存储系统，支持多种访问特别的存储引擎（KDB/Redis/LevelDB等）。
CDN：世界上面向图片最大的CDN系统，持续为阿里提供更高性能、更好体验、更低成本的CDN系统，包括智能调度、高效的DNS服务器、HTTP缓存软件、精确的IP定位数据库等。
T4：智能的基于Linux Container内部弹性计算平台，可以做到秒级容量侦测和自动扩展。
图像搜索：十亿级别的图片获取与处理平台、图像搜索专用引擎iFlake，提供实拍保护、图片过滤、图像基础服务三大产品。
MySQL：持续优化、定制适合阿里应用特点的MYSQL数据库引擎，并提供性能高、可扩展、高可靠的数据库集群。
Tengine：服务好阿里的Web服务器需求，打造高性能服务器平台，提升性能和可运维性，同时有效的抵御各种攻击。以Tengine为基础，搭建灵活的7层接入平台。
专用计算：针对特定领域问题，以计算性能、效能为导向的优化。针对计算密集型应用和特定微架构CPU算法实，GPU及众核等异构计算推广及实践。
JVM定制与优化：基于OpenJDK VM针对阿里应用特点的JVM优化、定制及相关工具开发。JVM相关故障，问题排查及解决。
Linux内核开发与维护：根据业务需求和访问特点对Linux内核进行开发和持续优化，为阿里系统维护高质量的Linux内核。
LVS负载均衡：提供高性能的负载均衡和攻击防御，实现统一的网站4层接入，即支持大规模数据中心的负载均衡集群。
网络流量镜像：提供高性能的网络流量捕获和分析功能，提高全方面的网站性能分析和安全分析能力。

我们建立精确的度量体系，不断优化，精益求精，让产品更有竞争力。我们的大部分基础软件已经开源。

阿里集团Java语言应用领域全景图

TAE & 聚石塔AE

TAE和聚石塔AE是脱胎于店铺平台的应用引擎，与google的GAE、新浪的SAE、百度的BAE等共有PaaS平台类似，不过它们的独特之处需要承载阿里开放体系中大部分的应用类型：从店铺前端插件、U站等前端应用，到供应链管理、CRM等复杂的后台应用，都在它们的托管范围。这就给应用引擎提出了独特的挑战：一方面、它们需要提供足够多的基础设施，供开发商能够把他们现有的遗留系统搬迁到这样的应用环境中。另一方面、他们需要有一套优雅完整的安全体系，保证买家和卖家的信息不被滥用。

数据层中间件

数据层中间件是依托于整个阿里业务需要而产生的中间件级产品，能够让用户以尽可能低的代价将原有的单数据库业务模型变为分布式数据库业务模型。目前被全网80%的应用所使用。

目前团队主要在以下领域发力进行探索：

1、探索如何让集团内能够以更低的成本来使用分布式数据库
2、提供海量数据存储的方案设计与性能优化建议
3、利用最终一致和异步化模型来提升集团在存储领域的资源利用率
4、支持阿里云的关系数据库服务组件

主要依托关系数据库模型与原理，分布式系统基本概念，高性能网络编程，分布式存储等几个方面技能的综合运用，为集团提供更低成本，更易用的应用存储解决方案，提升性能，降低成本。

消息中间件

消息中间件是淘宝一个重要的中间件领域，高峰期日消息量在250亿左右，目前主要提供了无序事务性高性能消息队列Notify与有序高性能消息队列RocketMQ(MetaQ)两大类产品，目前RocketMQ已经开源（ https://github.com/alibaba/RocketMQ），产品被包括核心交易在内的几乎所有的应用所使用，每秒钟消息量80W，这对于消息投递与消息存储与运维来说，都是个巨大的挑战，而如何能够更合理的使用更低的机器成本与运维成本来满足用户不断增长的消息发送需求，是整个团队最大的价值所在。

目前团队主要的工作内容是：

1、依托实际的业务场景和新的软硬件，降低消息系统的成本
2、维护开源产品，为社区贡献一些自己的力量
3、依托新的业务场景，创造符合新场景的消息模型与消息系统

CRM

淘宝CRM始于2003年，从面向内部的企业CRM系统逐渐演变为横向支持阿里巴巴集团大部分BU、纵向对外支持商家、ISV的CRM平台。在这变化过程中：

1、搭建了 focus在客户问题的工单平台，重新构建了CRM的领域模型，规范各个服务领域的业务规则、流程
2、创建了数据模型（客户关系、诚信、分层、行为等模型），利用数据挖掘技术实现数据价值, 价值的输出是凭借于D4S（Data for service）平台
3、智能机器人、云客服多样化的解决问题渠道的诞生，为我们的客户提供更多更便捷更贴心的解决问题渠道，也为节省阿里成本提供了有力武器
4、为电商服务领域提供打包解决方案：例如交易服务、小二工作台、电话等业务

目前面临的挑战：

1、Enable商家提升服务能力，商家强大了，这个生态圈才会平稳
2、通过技术降低服务成本
3、平台化我们已经在路上了；组件化、数据化是我们的方向，只有这样做我们才能更好更快的服务好我们的客户
4、我们的技术特色是：扎根于业务的模型、理解客户的模型、透过模型进而抽象组件

开放平台

差异化支持的多客户端海量服务调用：（以下任何一种模式都支撑上亿甚至几十亿的业务处理）

1、TQL和Long Tunnel & REST方式支持无线客户端调用，解决弱网络服务调用稳定性和效率问题。
2、Schedule API 提供异步批量服务调用，解决调度型异步服务调用问题。
3、Comet Stream api提供主动推送服务，Push方式提供即时高效的业务消息推送。

利用异步化Web请求及虚拟资源池来提供高效的API Gateway，解耦开放平台网关处理能力与后端服务处理能力，30多台服务器支撑上百个服务质量差异的业务系统服务开放。

抽象统计分析模型和轻量级任务调度MR处理，实现海量业务数据即时分析，20台服务器支撑千亿级复杂业务统计分析，业务随时接入，立即分析，为开放平台，无线开放平台，广告系统等业务系统提供了快速业务统计分析，监控告警等支持。

推荐领域

海量的商品、店铺以及用户数据，在这样大数据的环境下，信息过载成为严重制约网站发展的因素，个性化推荐系统应运而生。无论是在为买家选品提供个性化信息服务，还是为卖家做精细化店铺运营提供决策支持，以及网站自身的日常运营，推荐系统在其中都承担了非常重要的作用，通过算法和系统架构的优化，推荐系统大大提升了商品的转化率等各项指标。

核心系统基础软件产品线(主要使用C/C++开发)

TFS(Taobao FileSystem)

TFS：（Taobao FileSystem）支持海量（PB级别）、异地容灾、多点写入、非结构化对象存储的分布式存储系统，持续优化性能、成本和功耗。

TFS（Taobao FileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化了文件的访问流程，一定程度上为TFS提供了良好的读写性能。项目地址:http://tfs.taobao.org/

开源类似产品:HDFS,GFS,???

TAIR (Taobao 分布式缓存)

TAIR：高性能、可扩展、高可靠的分布式对象缓存与存储系统，支持多种访问特别的存储引擎（KDB/Redis/LevelDB等）。

tair 是淘宝自己开发的一个分布式 key/value 存储引擎. tair 分为持久化和非持久化两种使用方式. 非持久化的 tair 可以看成是一个分布式缓存. 持久化的 tair 将数据存放于磁盘中. 为了解决磁盘损坏导致数据丢失, tair 可以配置数据的备份数目, tair 自动将一份数据的不同备份放到不同的主机上, 当有主机发生异常, 无法正常提供服务的时候, 其于的备份会继续提供服务. 项目地址:http://tair.taobao.org/

开源类似产品:Memcached,Redis等

CDN网络

CDN：世界上面向图片最大的CDN系统，持续为阿里提供更高性能、更好体验、更低成本的CDN系统，包括智能调度、高效的DNS服务器、HTTP缓存软件、精确的IP定位数据库等。

开源类似产品:

T4 弹性计算平台

T4：智能的基于Linux Container内部弹性计算平台，可以做到秒级容量侦测和自动扩展。

开源类似产品:

图像搜索

图像搜索：十亿级别的图片获取与处理平台、图像搜索专用引擎iFlake，提供实拍保护、图片过滤、图像基础服务三大产品

开源类似产品:

MySQL分支

MySQL：持续优化、定制适合阿里应用特点的MYSQL数据库引擎，并提供性能高、可扩展、高可靠的数据库集群。

开源类似产品:

Tengine

Tengine：服务好阿里的Web服务器需求，打造高性能服务器平台，提升性能和可运维性，同时有效的抵御各种攻击。以Tengine为基础，搭建灵活的7层接入平台。

开源类似产品:

专用计算：

针对特定领域问题，以计算性能、效能为导向的优化。针对计算密集型应用和特定微架构CPU算法实，GPU及众核等异构计算推广及实践。

开源类似产品:

JVM定制与优化

JVM定制与优化：基于OpenJDK VM针对阿里应用特点的JVM优化、定制及相关工具开发。JVM相关故障，问题排查及解决。

开源类似产品:

Linux内核开发与维护

Linux内核开发与维护：根据业务需求和访问特点对Linux内核进行开发和持续优化，为阿里系统维护高质量的Linux内核。

开源类似产品:

LVS负载均衡

LVS负载均衡：提供高性能的负载均衡和攻击防御，实现统一的网站4层接入，即支持大规模数据中心的负载均衡集群。

开源类似产品:

网络流量镜像

提供高性能的网络流量捕获和分析功能，提高全方面的网站性能分析和安全分析能力。我们建立精确的度量体系，不断优化，精益求精，让产品更有竞争力。我们的大部分基础软件已经开源。

开源类似产品:

OceanBase

OceanBase是阿里巴巴集团自主研发的可扩展的关系型数据库，实现了跨行跨表的事务，支持数千亿条记录、数百TB数据上的SQL操作。在阿里巴巴集团下，OceanBase数据库支持了多个重要业务的数据存储，包括收藏夹、直通车报表、天猫评价等。截止到2013年4月份，OceanBase线上业务的数据量已经超过一千亿条。

开源类似产品:

中间件基础架构(主要使用Java实现)

软负载配置中心-Diamond：

Diamond 用于存储静态配置，并能够提供配置变更动态推送功能，结构简单，超高可用性。在全网被使用于存储不经常发生变化的配置信息。

开源介绍：http://code.taobao.org/p/diamond/wiki/index/

联系人: 平威(pingwei@alibaba-inc.com http://weibo.com/xuehuilu)

开源类似产品:

消息中间件-Notify：

notify是一款高性能，高可靠，可无限水平扩展，支持分布式事务，支持复杂消息过滤的与互联网时代紧密结合的消息中间件，是目前公司内部使用最广泛的一个消息中间件产品之一，承担着公司内部90%以上消息服务。他使用推消息的模型，集群可水平扩展，但不保证顺序，也不保证重复的消息中间件产品。
联系人：文婷(wenting.ywt@alibaba-inc.com http://weibo.com/taofatsheep)

开源类似产品:

消息中间件-Meta：

Meta师从linkeded in的kafka ，是一款高可用，可无限水平扩展的消息中间件，他使用拉模型的消息队列，集群可水平扩展，能够保证顺序，但不能保证消息不重复。
开源介绍：http://metaq.taobao.org/
联系人：誓嘉(email : shijia.wxr@taobao.com，新浪新浪微博: vintage-wang )

开源类似产品:

服务框架-HSF：

阿里分布式服务框架，统一整个集团rpc的调用，包括服务方式的统一调用，软负载，服务治理等，提供一套简单方便，高性能的分布式服务框架。
联系人：空冥(email:kongming.lrq@taobao.com）

开源类似产品: emule,Tuscany SOA,ESB,SCA, webservice

服务框架- eagleeye：

淘宝分布式跟踪系统，该系统实现基于单链路的实时监控，系统依赖，性能调优，风险控制等
联系人：姬风（email:jifeng@taobao.com）

开源类似产品:

服务框架- Pandora：

淘宝隔离容器，该系统主要解决大规模富二方包升级，二方包隔离，二方包监控等问题。
联系人：银时（email:yinshi.nc@taobao.com，新浪微博：ni掌柜）

开源类似产品:

数据层-TDDL：

通用数据访问层，部署在客户端的jar包，用于将用户的SQL路由到指定的数据库中。目前有1000+应用在使用
开源介绍：http://code.taobao.org/p/tddl-dynamic-datasource/src/
联系人：君瑜（email:junyu@taobao.com，新浪微博：励大强的元宝）

开源类似产品:

数据层-精卫：

通用数据总线，用于将数据从一个数据节点迁移到其他一个或多个数据节点中，目前支持mysql,oracle,hbase等。目前有100+应用在使用
联系人：齐昊(email:qihao@taobao.com，新浪微博：小齐昊 )

开源类似产品:

数据层-愚公：

数据自动迁移引擎，海量数据自动运维工具，可用于对用户无影响的自动扩容和缩容，数据平滑迁移，以及异构数据源迁移，目前已经完成了214次业务迁移或扩容。
联系人：君瑜(email:junyu@taobao.com，新浪微博：励大强的元宝)

开源类似产品:

数据层-AndOr/DRDS分布式NewSQL引擎：

NewSQL系统，可以将SQL运行于传统MYSQL/Oracle关系数据库，也可以支持NoSQL数据库如bdb , hbase等。可以实现其中的跨机合并和跨机交操作等复杂关系操作。
联系人：七锋(email: jianghang.loujh@alibaba-inc.com，新浪微博：agapple0002)，沈询(email:shenxun@taobao.com，新浪微博：WhisperXD)

开源类似产品:

性能和稳定性平台-持续稳定性平台(CSP 2.0)：

持续稳定性平台帮助阿里系统保障高可用性，包含线上压测、容量规划、依赖治理、限流降级、监控报警、问题定位等模块。
联系人：游骥(email:youji.zj@taobao.com，新浪微博：庄主游骥)

开源类似产品:

性能和稳定性平台-Hotspot：

项目简介：性能分析平台通过对基础软件、服务端、前端加载、网络、CDN等方面的性能分析，来帮助阿里系统提升吞吐量、降低延迟时间、节约成本。
联系人：叔同(email: shutong.dy@taobao.com，新浪微博：淘宝叔同)

开源类似产品:

项目名称：TProfiler：

项目简介：TProfiler是可以在生产环境长期使用的性能分析工具，通过在Java层面记录代码执行热点、对象创建热点等数据，帮助系统定位性能瓶颈。
开源地址：https://github.com/alibaba/TProfiler
联系人新浪微博：叔同(email: shutong.dy@taobao.com，新浪微博：淘宝叔同)
开源类似产品:

TimeTunnel

!TimeTunnel（简称TT）是一个基于thrift通讯框架搭建的实时数据传输平台，具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点。

http://code.taobao.org/p/TimeTunnel/wiki/index/

Taobao Code Trac

Taobao Code Trac是一个最轻量级别的基于Web的软件项目管理环境.它的目的是简化追踪/处理软件开发事务,进而改进整体软件过程.

Trac是围绕"帮助开发者写出伟大的软件"这一最终目标进行设计的,尽量不影响一个团队已经拥有的良好项目过程和文化.

DataX

DataX是一个让你方便的在异构数据源之间交换数据的工具

TaoKeeper/ZooKeper

http://code.taobao.org/p/taokeeper/wiki/index/

阿里云基础设施

http://www.aliyun.com/

弹性计算--产品服务器

云服务器（Elastic Compute Service, 简称ECS）是一种处理能力可弹性伸缩的计算服务，其管理方式比物理服务器更简单高效。
云服务器帮助您快速构建更稳定、安全的应用，降低开发运维的难度和整体IT成本，使您能够更专注于核心业务创新。

负载均衡（Server Load Balancer，简称SLB）是对多台云服务器进行流量分发的负载均衡服务。
SLB可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。

数据存储•计算----产品服务器

关系型数据库服务（Relational Database Service，简称RDS）是一种稳定可靠、可弹性伸缩的在线数据库服务。RDS采用即开即用方式，兼容MySQL、SQL Server两种关系型数据库，并提供数据库在线扩容、备份回滚、性能监测及分析功能。RDS与云服务器搭配使用I/O性能倍增，内网互通避免网络瓶颈。

开放存储服务（Open Storage Service，简称OSS）是支持任意数据类型的存储服务，支持任意时间、地点的数据上传和下载，OSS中每个存储对象（object）由名称、内容、描述三部分组成。
OSS使您获得更稳定更安全的存储服务，使您开发大容量和高并发系统变得更容易，按量付费的方式能帮助您降低财务风险和成本。

内容分发网络（Content Delivery Network，简称CDN）将加速内容分发至离用户最近的节点，缩短用户查看对象的延迟，提高用户访问网站的响应速度与网站的可用性，解决网络带宽小、用户访问量大、网点分布不均等问题。

开放结构化数据服务（Open Table Service，简称OTS）是一种支持海量结构化和半结构化数据存储与实时查询的服务。

开放缓存服务( Open Cache Service，简称OCS）为在线缓存服务，实现热点数据的快速响应及数据的持久化保存，OCS支持Key-Value的数据结构，兼容Memcached协议的客户端都可与服务端通信。
OCS支持即开即用的方式快速部署，对于动态Web、APP应用，可通过缓存服务减轻对数据库的压力，从而提高网站整体的响应速度。

开放数据处理服务（Open Data Processing Service，简称ODPS）是基于飞天分布式平台，自主研发的海量数据离线处理服务。ODPS以RESTful API的形式提供针对PB级别数据的、实时性要求相对不高的批量处理能力，主要应用于数据分析、海量数据统计、数据挖掘、商业智能等领域。ODPS是阿里巴巴集团数据交换平台（DXP）的重要组成部分，阿里金融、淘宝指数、数据魔方等关键数据业务的离线处理作业都运行在ODPS上。

云引擎--产品服务器

ACE（Aliyun Cloud Engine）是一款弹性、分布式的应用托管环境，支持Java、php多种语言环境。帮助开发者快速开发和部署服务端应用程序，并且简化了系统维护工作。搭载了丰富的分布式扩展服务，为应用程序提供强大助力。

安全与监控--产品服务器

云盾是阿里巴巴集团十年攻防技术积累，为客户提供基于云端的DDoS防御、入侵防御及网站的应用安全监测等全方位的安全防御服务。

云监控实时监控您的网站或服务器，可及时发现故障并通过多种报警方式及时通知到您，为您的服务正常运行保驾护航。
云监控除了为阿里云云服务器客户提供安全有效的监控服务外，还能为其他自有服务器客户提供功能强大、简单易用的监控服务。用户无需自建监控系统，只需要通过简单的配置即可拥有全面、安全、可靠的监控服务。

yunOS

http://www.yunos.com/

云OS

更贴心的服务：短信缴费联系人转账和充值
更实用的云服务：照片、联系人、短信备份系统配置备份
更高效的操作：简明通知体系多任务管理
更个性: 百款精彩主题百款精彩主题精心为您打造，通过玩主题，还能组合出上万种个性搭配。
更丰富的应用和娱乐：数十万款应用和游戏无论是游戏、拍照、购物、聊天还是办公，不管是当下最流行的应用，还是非主流的应用，只要你想要，你都能找的到。丰富的娱乐内容资源通过云手机助手，超过200万首正版歌曲、10万部电视剧、5000部电影、5万部纪录片、国内外数百档优质综艺节目、10万本正版电子书，任你玩乐！
更安全:最高安全标准云OS系统原生权限管理，防护等级达到工信部五级安全标准。
防偷信息、偷流量、恶意扣费:有效防止不当应用获取您的隐私信息，浪费流量，发送扣费短信等。
防诈骗:云OS独有的反诈骗技术，帮您识别诈骗电话、诈骗短信、诈骗应用和钓鱼网站。
骚扰拦截:强大数据库，帮您有效拦截中介、推销、广告等骚扰短信和电话。
隐私保护:设置隐私照片、隐私通讯、应用密码锁，不再担心别人借用手机。
丢失保护:在丢失时快速获取您手机的位置，并可播放手机铃声；也可远程擦除手机数据，保护您的隐私。
不一样的客厅，不一样的AliTV：正版影视:海量正版高清点播资源，索尼、华纳、环球影片一网打尽。
    百万曲库:450万首音乐，想听就听，虾米音乐独家定制版本，更可在家卡拉OK。
    互动游戏:植物大战僵尸、幻幻球、街机天堂、X计划仅用遥控器和手机就能high到爆。搭配体感空鼠游戏体验更佳。
    家庭课堂:义方电视课堂+才智小天地，独家入驻全球最优质的教育多媒体源，寓教于乐让你的孩子赢在起跑线。
    客厅购物:淘宝海量团购商品，使用遥控器就可将实惠的商品带回家。
    多屏互动:可将手机中的内容投影到电视与家人一起分享，同时手机也可以做为
    电视的遥控器来使用。

云手机

云手机助手

云应用中心

云主题

云空间

云社区

商城

参考:

阿里技术:http://campus.alibaba.com/tech.htm

jm http://jm-blog.aliapp.com/?page_id=2449

taobaoCode:http://code.taobao.org/