事实

事实在事实全局部分下定义：facts:-name:factschema:-{name:day_key,type:INTEGER,required:Yes}-{name:time_key,type:INTEGER,required:Yes}-{name:dimension_key,type:INTEGER,required:Yes}-{name:timestamp,type:TIMESTAMP,required:Yes}-{name:fact,type:FLOAT,required:Yes}

事实有以下参数：名称-bigquery中使用的名称。

模式-事实的字段。< Buff行情>

注意，事实只存在于bigquery中。

维度数据池

所有生成的模型和维度都存储在数据存储中。

它们最终是如何被另一个子系统处理的，尽管它们必须使用相同的模式

作为bigquery和cloudsql的对应项。每个字段都由一个数据存储实体属性表示。

操作系统正在更新这些维度，需要

定期传播到bigquery和cloudsql。

数据存储祖先和索引

为了保证强写一致性，所有数据存储实体都插入了

父实体。使用父级时，可以执行数据存储祖先查询。< Buff行情>

参见祖先查询

数据一致性

了解更多信息。

默认情况下，所有实体、属性和祖先(升序和降序)都会创建索引。

大查询

bigquery类是google.cloud.bigquery.client类的简单包装，因此

实例化它不需要任何额外的参数。

bigquery提供基于eds模式创建或重新创建表的帮助程序，以及

更新表的架构。fromeds.configimportschemafromeds.bigqueryimportBigQuerybigquery=BigQuery()dimension=schema.DIMENSIONS['dimension_id']bigquery.create_table(dataset='dimensions',recreate=False,schema=dimension.schema,table_name=dimension.key)bigquery.update_table(dataset='dimensions',schema=dimension.schema,table_name=dimension.key)

cloudsql< Buff行情>

注意eds只支持带有mysql的cloudsql。

必须用连接实例化cloudsql类。

连接是一个使用推荐的默认池设置的sqlalchemy包装类

通过GCP。fromeds.dbimportConnectionfromeds.cloudsqlimportCloudSQLconnection=Connection(db_engine_url='DB_ENGINE_URL')cloudsql=CloudSQL(connection=connection)

cloudsql提供基于eds架构创建或重新创建表的帮助程序。< Buff行情>

当前不支持更新现有表的架构。fromeds.configimportschemadimension=schema.DIMENSIONS['dimension_id']cloudsql.create_table(table=dimension.tables[dimension.key],recreate=False)< Buff行情>

维度的tables属性包括两个sqlalchemytable定义：一个用于表

以维度的键命名，另一个使用后缀命名。

cloudsql/mysql字符集

utf-8支持仅在mysql 5.7之后才可用，并带有utf8mb4字符集。

由于这不是mysql使用的默认字符集，因此必须将其设置为标志：character_set_server = utf8mb4

为了通过云外壳正确显示所有字符，请记住设置客户端

从mysql控制台将连接字符设置为utf8mb4，使用：SET NAMES utf8mb4 COLLATE utf8mb4_unicode_ci;

将数据加载到维度

数据负载(通常来自存储在数据存储中的维度)可以加载到bigquery和cloudsql

使用bigquery和cloudsql类。payload=[{'dimension_key':123,'dimension_id':364577,'dimension_name':'D123','archived':False,'timestamp':'2018-11-02T12:01:05.571694+00:00',},]bigquery.load(dataset='dimensions',table_name=dimension.key,schema=dimension.schema,payload=payload)cloudsql.load(table=dimension.tables[dimension.key],payload=payload)

有关CloudSQL的说明

任何以\u name结尾的模式字段，如果作为字节接收，则将被编码为utf-8，

在写入cloudsql之前。

在加载之前，所有的时间戳字段都将被删除掉任何后续时区信息

进入cloudsql。时间戳字段应在ISO 8601中。

尺寸更新

a维度更新将使用临时表中的记录更新表中的记录。fromeds.configimportschemaschema.DIMENSIONSschema.FACTS0

尺寸插件

a维度插入将从其暂存表中插入不存在于其自身表中的记录。fromeds.configimportschemaschema.DIMENSIONSschema.FACTS1

开发

要参与此项目，请安装并运行tox：fromeds.configimportschemaschema.DIMENSIONSschema.FACTS2

PYPI

该项目是公共索引的根pypi名称空间eds。

发布新版本：fromeds.configimportschemaschema.DIMENSIONSschema.FACTS3

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库