导语：Atlas 是一个可扩展的核心基础治理服务集 - 使企业能够有效地和高效地满足 Hadoop 中的合规性要求，并允许与整个企业数据生态系统的集成。该项目用于管理共享元数据、数据分级、审计、安全性以及数据保护等各个方面，是数据治理的重要组成部分。本文介绍Atlas的存储子系统，分析Atlas的存储模型和各个元数据要素的存储结构。

Atlas简介

Atlas存储

类型系统

Atlas图存储结构

Atlas元数据存储模型

类型定义模型

vertex属性
__type="typeSystem"
__type.category=TypeCategory.ENUM
__type.name=具体的类型定义名称如file_action
__type.description
__type.servicetype=服务类型如file_system
__type.version
__guid
__createdBy=创建者的用户名
__timestamp
__modifiedBy=更新者的用户名
__modificationTimestamp=修改时间
__version
__type.options
#会为每个enum element生成下面两行属性
__type.${typeName}.${enumValueName}=${ordinal}  #如__type.file_action.READ_WTITE=6
__type.__type.${typeName}.${enumValueName}.description=某个具体enumvalue的描述信息
__type.${typeName}=所有的enum element值          #如__type.file_action={"NONE","EXECUTE","WRITE","WRITE_EXECUTE","READ","READ_EXECUTE","READ_WRITE","ALL"}
__type.${typeName}.defaultValue=enum的默认值     #__type.file_action.defaultValue

#vertex属性
__type="typeSystem"
__type.category=TypeCategory.STRUCT
__type.name=具体的类型定义名称如file_action
__type.description
__type.servicetype=服务类型如file_system
__type.version
__guid
__createdBy=创建者的用户名
__timestamp
__modifiedBy=更新者的用户名
__modificationTimestamp=修改时间
__version
__type.options
#会为每一个attribute生成下一行属性
__type.${typeName}.${attrName}=json(AtlasAttribute)
__type.${typeName}=List<属性名称>
#对于每个非builtin类型的attribute，建立一条边，edgeLabel为：
__type.edge.${typeDefName}.${attriDefName}

vertex属性
__type="typeSystem"
__type.category=TypeCategory.CLASSIFICATION
__type.name=具体的类型定义名称如file_action
__type.description
__type.servicetype=服务类型如file_system
__type.version
__guid
__createdBy=创建者的用户名
__timestamp
__modifiedBy=更新者的用户名
__modificationTimestamp=修改时间
__version
__type.options
#会为每一个attribute生成下一行属性
__type.${typeName}.${attrName}=json(AtlasAttribute)
__type.${typeName}=List<属性名称>
vertex边
#对于每个非builtin类型的attribute，建立一条边，edgeLabel为：
__type.edge.${typeDefName}.${attriDefName}
__type.supertype      #为每个superType建立一条边
__type.entitytype     #为限定可以打标签的entityTypeDef建立一条边

vertex属性
__type="typeSystem"
__type.category=TypeCategory.ENTITY
__type.name=具体的类型定义名称如file_action
__type.description
__type.servicetype=服务类型如file_system
__type.version
__guid
__createdBy=创建者的用户名
__timestamp
__modifiedBy=更新者的用户名
__modificationTimestamp=修改时间
__version
__type.options
#会为每一个attribute生成下一行属性
__type.${typeName}.${attrName}=json(AtlasAttribute)
__type.${typeName}=List<属性名称>
vertex边
#对于每个非builtin类型的attribute，建立一条边，edgeLabel为：
__type.edge.${typeDefName}.${attriDefName}
__type.supertype      #为每个superType建立一条边

vertex属性
__type="typeSystem"
__type.category=TypeCategory.RELATIONSHIP
__type.name=具体的类型定义名称如file_action
__type.description
__type.servicetype=服务类型如file_system
__type.version
__guid
__createdBy=创建者的用户名
__timestamp
__modifiedBy=更新者的用户名
__modificationTimestamp=修改时间
__version
__type.options
#会为每一个attribute生成下一行属性
__type.${typeName}.${attrName}=json(AtlasAttribute)
__type.${typeName}=List<属性名称>
endDef1=json(AtlasRelationshipEndDef)
endDef2=json(AtlasRelationshipEndDef)
relationshipCategory=RelationshipCategory
relationshipLabel
tagPropagation
#边edgeLabel<为每一个endDef对应的顶点建立一条边，若两个endDef是同一个类型，则只建立一条边>
__type..relationshipType

元数据实体图模型

{    "referredEntities": {},   "entities": [{    "typeName": "tencent_bg",   "attributes": {   "owner": "ls",  "qualifiedName": "CSIG@tencent",   "name": "CSIG", "description": "csig bussiness group"   },  "guid": "-1234567890",  "proxy": false,   "version": 0  }]
}

vertex属性
#每一个primitive类型的属性都对应下面的一个vertext property
${entityType}.${attrName}
每一个struct类型的Attribute对应一条边：连接entity vertex和该struct对应的vertex，edgeLabel为：__${entityType}.${attrName}
每个objectId类型的Attribute，需要创建或更新对应的另一端顶点，然后更新两个顶点的边属性等信息
对于每个Map类型的Attribute，若Map的valueType是primitive|enum|array|map类型，则直接生成一个vertexProperty；
若Map的valueType是reference类型，则为每个value生成一条边，边的另一端对应这个mapvalue对应的顶点，边的属性__key=map的key
对于每个array类型的Attritbue，若array的elementType为primitive|enum|array|map类型，则为entity的vertext生成一个property，${entityType}.${attrName}=array;
若array的elementType为reference类型，则为每个element生成或更新对应的vertex，并生成一条边，边有个property:__index=element在array中的index
对于classification的处理：
1）把该classification的typeName加到vertex属性__traitNames中
2）创建classification的vertex，属性包括：    __typeName  __state __timestamp __modificationTimestamp __createdBy __modifiedBy    __superTypeNames    __entityGuid    __entityStatus  __validityPeriods   __propagate __removePropagations    为父类structType里的每个Attribute添加一个vertext property
3）为entity和classification建立一条边,edgeLabel为classifiedAs，属性：   __state=active __timestamp __modificationTimestamp __createdBy __modifiedBy    __name=classfication的typeName  __isPropagated
4)查找该entity的所有具有传播关系的relation 对端vertex（比如table到包含的各种列），然后为每个传播vertex建立到classification vertex的边，并为该传播vertex添加属性值__propagatedTraitNames
5）重新生成entity以及传播entity的fulltext字段entityText（包括entity所有属性和classification的属性），并通知EntityChangeListenerV2处理

Atlas类型解析

AtlasStructType  校验所有attribute：   cardinity为LIST或SET时，attribute类型必须为Array、 attribute类型不能为AtlasClassificationType、  attribute constraint：ownedRef指向的AtlasEntityType必须存在；inverseRef正反向对应的entity必须存在，即指向的AtlasEntityType必须存在，而且指向的AtlasEntityType必须有对应的属性指向自己 收集allAttributes和uniqAttributes（即attributeDef中字段isUnique=true的属性）
AtlasEntityType 做父类AtlasStructType的resolveReferences    收集allSuperTypes，superTypes，headerAttributes（包括ENTITY_HEADER_ATTRIBUTES和ENTITY_HEADER_ATTRIBUTES_TDW），minInfoAttributes（包括所有的headerAttributes和schema-attributes）    AtlasClassificationType 做父类AtlasStructType的resolveReferences    校验superType必须为AtlasClassificationType   收集superTypes、allSuperTypes、allAttributes、uniqAttributes AtlasRelationshipType   做父类AtlasStructType的resolveReferences    校验endDef12必须均为AtlasEntityType   endDef1、endDef2不能指定cardinity=LIST，不能同时为container、有一个end为containetr时，关系类型不能为RelationshipCategory.ASSOCIATION，  类型为COMPOSITION和AGGREGATION时，必须有一个end是container

AtlasStructType 对constraint为inverseRef的Attribute，设置Attribute的字段inverseRefAttribute=指向的entity的Attribute
AtlasEntityType 做父类AtlasStructType的resolveReferencesPhase2  为所有父类填充subTypes、allSubTypes、typeAndAllSubTypes，即把当前正在解析的entityType加入到所有父类的subTypes集合中
AtlasClassificationType     做父类AtlasStructType的resolveReferencesPhase2  为所有父类填充subTypes、allSubTypes、typeAndAllSubTypes，即把当前正在解析的entityType加入到所有父类的subTypes集合中
AtlasRelationshipType       做父类AtlasStructType的resolveReferencesPhase2  确定relationship的edgeLabel：    1）endDef1和endDef2的isLegacyAttribute字段均为false，则edgeLabel=r:${relationName}    2)endDef1 isLegacyAttribute字段为true，则edgeLabel=__${endDef1TypeName}.${endDef1Name}   2)endDef2 isLegacyAttribute字段为true，则edgeLabel=__${endDef2TypeName}.${endDef2Name}   补充endDef1、endDef2两端对应Attribute（可能需要创建）的字段relationshipLabel，并把Attribute添加到end对应entity的relationshipAttributes，补充attrName-->relationType的映射 确定relationship的edge direction：   1）endDef1==endDef2，即对应的entityType和name均相等，则设置两端entity的Attribute的relationshipEdgeDirection=BOTH  2）endDef1和endDef2的isLegacyAttribute字段均为true，则两端entity的Attribute的relationshipEdgeDirection=OUT    3）若只有一个endDef的isLegacyAttribute=true则该端relationshipEdgeDirection=OUT,对端relationshipEdgeDirection=IN   4）两端isLegacyAttribute=false，则endDef1的relationshipEdgeDirection=OUT，endDef2的relationshipEdgeDirection=IN

AtlasEntityType    对于Attribute类型为另一种EntityType，但是没有定义相应的relationship，则打印警告信息 把所有superType的relationshipAttributes添加到当前entityType的relationshipAttributes中  AtlasClassificationType     把所有的superType允许的entityTypes取交集，得到superTypeEntityTypes；获取当前classificationType允许的entityTypes，记为classificationDefEntityTypes  1）若没有superType，则entityTypes=classificationDefEntityTypes 2）若superTypeEntityTypes isEmpty,则抛异常 3）若classificationDefEntityTypes isEmpty，则entityTypes=superTypeEntityTypes    4）若superTypeEntityTypes不包含classificationDefEntityTypes，则抛异常   5） entityTypes中所有entityType的subType同样会被加入entityTypes中

结语