描述

数据虚拟化可以夸多个地理位置链接多个数据源，从而整合为一个本地逻辑视图供上层更方便使用提取其价值。

好处

在创建你的数据源后，企业可以更快的查看组织内部的所有数据。

这些虚拟化数据视图能够在不迁移数据，不复制数据，不通过ETL加工数据或者额外的存储需求就可以实时查看和分析，这样加速了处理速度。可以为企业带来实时的具有洞察力的结果，更快速响应和做出相应的决策。

安全

为了安全即使在可信任的环境，集中化认证和对平台用户访问数据的验证也需要被强制应用。

数据虚拟化管理者，工程师，支持者和用户角色提供了细粒度的对虚拟资产访问管理。

Cloud Pak for Data 中需要使用数据虚拟化功能的用户必须根据他们的工作内容来分配虚拟化角色进行安全管理

IT环境和应用之间的通信利用IBM坚固额技术进行了安全的加密，比如标准的协议进行的SSL/TLS加密。

平台支持

数据虚拟化支持标准的SQL查询，通过传统的接口比如R, Spark, Python, and Jupyter Notebooks.

另外，也支持很多普遍使用的分析应用工具，包括IBM的Watson Studio 和 Cognos Analytics.

接下来，给大家分享几个在使用DV过程中经常遇到的问题和最佳实践：

一. 数据库与DV参数设置

检查源库db2mpp和DV有codepage设置是否一致

实例级别：数据库实例级别的代码页设置，它会影响 DB2相关应用程序对代码页转换时做出代码页判定。查看命令： db2set –all
数据库级别：DB2 数据库级别的代码页设置，必须在建库时进行设置codeset xxx，它是针对于此数据库对字符的内部编码。查看命令：db2 get db cfg | grep code ；不可修改

CREATE DATABASE TESTDB1 USING CODESET UTF-8 TERRITORY CN

二. DV收集统计信息

call SYSPROC.NNSTAT(NULL,

'ADMIN',

'SH_MPP2_GXZL_SDBASE_DEFECTS_NEW',

'ID',

'',

'/tmp/SH_MPP2_GXZL_SDBASE_DEFECTS_NEW.log',

1);

速度：69亿数据量大概需要1000S

如何使用Cache

1.进入菜单高速缓存管理

2. 点击右下角的添加新的高速缓存

3. 输入需要cache的表

4. 点击下一步直到最后点击创建，完成创建

DV收集日志

在菜单support里面的诊断子菜单下，进去后选择DV，然后start收集完了下载成zip文件

如何监控

打开DV菜单里面的Monitor > Statements > Inflight executions

根据对应问题的条目生成SQL的执行计划，找到问题根因

TroubleShooting

Response code:08001 -4499

Response message:com.ibm.db2.jcc.am.DisconnectNonTransientConnectionException: [jcc][t4][2030][11211][4.27.25] A communication error occurred during operations on the connection's underlying socket, socket input stream,

or socket output stream. Error location: Reply.fill() - insufficient data (-1). Message: Insufficient data. ERRORCODE=-4499, SQLSTATE=08001

solution:

收集合适的统计信息
索引设计也不好
使用Cache

数据虚拟化 - Data Virtualization | IBM相关推荐

Teiid：数据虚拟化Data Virtualization平台
2019独角兽企业重金招聘Python工程师标准>>> Teiid介绍 http://teiid.jboss.org/ 数据虚拟化的定义 https://en.wikipedia.o ...
Silverlight 中datagrid控件-- 通过设置数据虚拟化加速显示
定义依赖属性作为datagrid的数据源 protected static readonly DependencyProperty ViewLogsProperty = DependencyPrope ...
御宅宅屋Salesforce Integration 概览, Data Virtualization御宅宅屋数据可视化
Salesforce实时访问外部数据.这样就不需要在Salesforce中保存数据,然后在Salesforce和外部系统之间协调数据. 一.上下文您可以使用Salesforce跟踪销售线索.管理销售 ...
[WPF]WPF Data Virtualization和UI Virtualization
这篇博客将介绍WPF中的虚拟化技术. 1. Data Virtualization 通常情况下我们说数据虚拟化是指数据源没有完全加载,仅加载当前需要显示的数据呈现给用户.这种场景会让我们想到数据分页显 ...
2022-2028全球与中国数据虚拟化解决方案市场现状及未来发展趋势
本文研究全球及中国市场数据虚拟化解决方案现状及未来发展趋势,侧重分析全球及中国市场的主要企业,同时对比北美.欧洲.中国.日本.东南亚和印度等地区的现状及未来发展趋势. 2021年全球数据虚拟化解决方 ...
【数据编制架构】什么是数据编织(Data fabric)？完整指南
本文探讨了 Data Fabric 的内容.原因.方式和人员,包括 Data Fabric 架构.挑战.优势.核心功能.供应商等. Data Fabric--以数据为中心的企业的"必备&qu ...
认知：大数据-Big Data
大数据-Big Data 作者 | WenasWei 一大数据大数据(Big Data)也称为海量数据(Massivee),是随着计算机技术及互联网技术的高速发展而产生的数据现象,2013年也称为 ...
大数据虚拟化零起点-4基础运维第三步-部署vCenter Server Virtual Appliance 5.1
在大数据虚拟化零起点基础运维第二步中,我们完成了vSphere5.1的安装.接下来,我们可以开始第三步--部署vCenterServer Virtual Appliance 5.1. 在开始部署之前, ...
JBoss Data Virtualization 6.1 Beta现在可用
JBoss 数据虚拟化 (JDV)是一种数据集成解决方案,位于多个数据源的前面,并允许将它们视为一个源. 做到这一点,它提供了数据抽象,联合,集成,转换和交付功能,可将来自一个或多个源的数据组合成可重 ...

数据虚拟化 - Data Virtualization | IBM

描述

好处

安全