某公司基于FineBI数据决策平台的试运行分析报告
一、数据平台的软硬件环境
二、组织机构和权限体系
组织机构:平台中已集成一套组织机构,可以建立部门、人员。也可以与现有系统的组织机构集成,将组织机构导入到平台中。
功能权限:通过配置功能点URL的方式实现各个用户相应的BI访问权限。用户第一次访问受保护的资源(某个功能点)时,会发出访问请求,服务器接收到请求后会验证用户权限,如果没有通过验证则返回登录页面。
数据权限:很多系统的权限认证只是限制模块的使用,使得合法用户能够行使自己的权利。平台在满足这种整体权限认证的同时,权限的控制力度可以达到同一张BI的内容在不同权限下展示的效果不一样,这样就免除了制作大量的BI来实现同样效果,尤其是在企业内部业务繁杂,审批麻烦时,一张BI就可以解决所有问题。平台通过对业务包的权限控制,从数据包层面控制了不同的用户对于数据的权限,以达到数据的细粒度控制。
权限控制的层次:
- 不同用户对于数据业务包的数据权限仅限于自己权限范围内。
- 不同的用户可以访问权限范围内的报表。
- 不同的用户对于同一张报表,只能够访问权限范围内的数据。
三、数据处理
数据源:支持Oracle,DB2,SQLServer,MySQL,SqlServer,Informix等数据源。支持ODBC数据源,支持JNDI数据源,支持共享应用服务器数据源。支持程序数据接口。支持文本数据源。支持内置数据集。
业务数据包:即Cube,是用于即时分析的数据基础。数据业务包由数据管理员创建,其中包含着能够提供给分析人员的所有业务数据表、数据集、接口数据、文本数据等。以文件的形式(后缀名为fcube)存放在服务器目录中。
数据转义
可以对数据业务包中的表名以及字段名进行转义,成为能够让业务人员理解的数据,转义的信息可以直接集成数据库中的注释,也可以直接手动编辑。
数据关联
数据之间的关联是用于给多个表之间建立表间关系,也可以直接继承数据库中定义的外键关系 。参与关联关系的表必须有主键支撑。
四、数据转化
数据转化:提供各种样式的表格和多种图表服务,配合各种业务需求展现数据。包括列表、分组、交叉表格,图表类型包括柱形图、条形图、饼图、面积图、组合图、仪表盘和地图。
新增列:通过自定义数据列来实现数据转换和数据计算。包括根据现有的数据新增列,构建自循环列,根据公式构建自定义数据列。更方便地用于后面的分析。
根据现有的数据新增列:在现有的数据列的基础上,通过自定义分组形成新的列。主要用于建立公用的自定义分组的方式,提供给所有的分析人员使用。
构建自循环列:可以根据一列(数据库中只有一列组织ID)或者两列(数据库中有组织ID和父ID)数据分层,将组织机构的层级关系分层展示。主要用于组织树展示。
新增公式列:公式引擎支持数据类型转化,常用函数、数学和三角函数、文本函数、日期和时间函数、逻辑函数、数组函数、报表函数以及其他自定义函数
。
行列转换:行列转换主要用于将数据库中某一列的字段值与其他指标字段结合成新的字段。
五、定时更新
全量更新:所有的数据业务包建立的时候,数据平台会在后台自动生成对应的cube。数据平台的cube采用MOLAP的形式,所以在处理大数据量的问题上具有优良的支撑。cube中的数据可以设置定时全量更新。
增量更新:只能单独对业务包中的表和数据集进行设置。并且只对新增数据有效。
六、数据分析
维度指标分析:可以灵活地从业务包中选择任意指标、维度进行自主地拖拽分析。由于数据业务包中的数据已经关联在了一起,这就决定了数据平台即时分析的自由度。在分析某个指标的影响因素时,可以选择任意的维度,去分析他们之间的关系。从而确定某个因素对指标的影响大小。
分析组件:组件支持各种样式的表格,配合各种业务需求展现数据。包括列表、分组、交叉表格。组件支持多种图表,图表类型包括柱形图、条形图、饼图、面积图、组合图、仪表盘和地图。页面上生成表格,转换图表、添加钻取、过滤筛选、添加控件等一系列交互设置,操作简单。通过拖拽指标和维度生成的表格,可以一键切换至图表。
平台支持多种图表且类型可以随意切换,支持的图标类型有:柱形图、柱形堆积图、折线图、堆积面积图、组合图、条形图、堆积条形图、饼图、仪表盘、地图。
汇总数据统计方式多样:指标支持求和,平均,最大值、最小值等等一系列统计方式提供选择。
支持多种计算指标的方式:指标可以来自于字段,同时也可以是通过公式计算得来。在计算同比、环比、排名的时候,只需配置一下界面,即可得到想要的结果。无需通过复杂的公式。
数据预警:支持数据预警功能,对于在某个数据区间的数据可以进行红绿灯预警或者数据前景预警。
多维OLAP分析:平台提供了各种常见的OLAP分析操作,可以进行任意多维度的分析,钻取分析、排序、过滤等等分析功能。
任意多维度分析:平台提供任意维度的数据分析,针对要分析的数据,可以任意添加需要分析的维度。图表设置过程类似,需要注意的是绝大多数的图表无需刻意添加分析。支持任意维度切换,可以对已有的表样切换维度来进行自由分析。
多层钻取:由于维度数据的关系在建立数据cube的时候已经建立好,则可以对维度直接通过分组以及层级设置进行多层钻取。设置了数据关联的数据之间,可以进行多层钻取设置,通过多层钻取查看数据的详细值。
排序:基于查询出来的结果的排序,根据维度自身进行排序,根据汇总指标的大小对维度进行排序展示,根据公式值进行排序。可以进行升序、降序和自定义排序。选择了排序方式,数据会根据所选排序方式自动排序。排序为全局排序,分页显示后并不影响排序结果。
七、技术特性
数据平台数据仓库技术要点
- 动态生成的位图索引技术处理字符串等类型. NIO内存映射文件技术,快速读取处理数字类型.
- 支持离线使用的cube数据存储,支持cube数据定时全量以及增量更新. 动态的内存数据立方体技术,并行计算的数据处理模式.
- 基于位图索引的快速分组,过滤,钻取,支持多线程运算,互不干扰. 的位图索引压缩技术. 避免重复计算的缓存机制.
数据平台数据建模及数据应用流程
- 数据库生成Cube文件,该cube文件会根据原始数据建立一定的数据模型。
- 访问设计报表时,预先加载需要使用的字段的位图索引到内存,增大命中率。
- 处理分组时,使用位图索引,对数据进行处理,经过转换生成需要的结果,再使用多线程分组,多线程与内存映射文件生成汇总结果。并将结果建立一定的数据立方体模型,在下次取数,和部分取数时避免重复计算。
数据平台模块
分析数据关联
当最终用户在分析数据时,很可能需要将数据建模时没有建立关联关系的数据关联起来做为整体查看分析,而在处理此类问题时就往往需要技术人员的支持,需要额外的数据建模工作,平台根据用户的语义,提供关联设置,并将数据关联,只要明白语义即可得到所需数据。
指标影响因素分析
某个指标或者汇总数据往往会受到很多因素的影响,例如销售额会受到产品质量,销售地区,时间,销售人员,代理商,销售策略,同类竞争产品价格等等因素的影响,而当最终客户进行分析时需要对全盘的影响因素都有了解。以往的BI工具是提前将这些分析维度加入最终展现层让领导或者业务人员去选择,这样的问题有两个不利因素:沟通成本高,需要让技术人员清晰明了业务需求;修改影响因素复杂,添加删除因素需要通知技术人员。平台的因素分析直接面向最终分析人员,通过优化的算法提供所有影响因素,并且判断重点因素。
八、优势总结
- 大数据量的处理性能优秀
数据平台的数据处理,采用表间自动关联以及手动建立关联来实现数据之间的关系,使得数据根据业务关系有着完整的数据结构。理解业务的用户,只需要根据业务选择相应的数据,即可以进行分析数据。
- 数据平台数据建模及数据应用流程
数据库生成cube文件,该cube文件会根据原始数据建立一定的数据模型。
访问设计报表时,预先加载需要使用的字段的位图索引到内存,增大命中率。
处理分组时,使用位图索引,对数据进行处理,经过转换生成需要的结果,再使用多线程分组,多线程与内存映射文件生成汇总结果。并将结果建立一定的数据立方体模型,在下次取数,和部分取数时避免重复计算。
分组速度快,各个分组,汇总之间互不干扰,利于多线程计算以及分布式部署优化。支持部分计算,分组汇总不需要计算所有的值。列表速度不受限于数据量。
当最终用户在分析数据时,很可能需要将数据建模时没有建立关联关系的数据关联起来做为整体查看分析,而在处理此类问题时就往往需要技术人员的支持,需要额外的数据建模工作,平台根据用户的语义,提供关联设置,并将数据关联,只要明白语义即可得到所需数据。
非IT人员可以进行即时分析
传统BI的繁杂之处主要体现在两个方面:
第一:技术人员需要花费大量时间准备数据。用于分析的底层数据分布在不同的地方,如果要让这些数据百分百地满足业务需求,那么就需要对数据进行额外的处理,根据传统BI提供的工具建立符合其工具的数据模型,而这个过程根据业务的复杂程度所需的时间在几个月不等。
第二:业务人员基于数据偶得的一些分析需求实现过程复杂。传统BI的模式都是预先了解领导和业务人员的所有业务需求,然后基于这些需求准备数据设计以报表形式展现数据的分析过程,当决策分析者在分析过程中有额外的想法时,基于传统的设计模式,她们还需要和技术人员进行沟通,准备新的数据或者设计新的分析过程,然后才能得到自己想要的分析,这个过程还包括了让技术人员理解自己的需求,所以综上看来整个过程是相当复杂的。
平台的Data Service模块,具有的分析设计模式和指标影响因素智能分析模块,能够解决以上问题,让技术人员准备数据时无需任何代码和复杂的设置过程,让非IT人员参与开发编程成为可能。
某公司基于FineBI数据决策平台的试运行分析报告相关推荐
- 爬虫+数据分析+可视化大作业:基于大数据的高质量电影分析报告
主要目的是为了学习Scrapy与Sklearn而不是写论文,结论是瞎扯的,轻喷求求了 目录 摘要 数据爬虫程序设计和实现 Scrapy框架 Scrapy框架简介 Scrapy的组件 Scrapy的工作 ...
- 叮咚买菜的数据应用之路,互联网公司的数据决策平台有何不同
这一个多月,餐饮.航空.旅游等行业受到重创,不过危机中隐藏着机遇,在全国快递停运.居民活动范围受限的背景下,一批生鲜电商平台订单获得爆发式增长. 作为一家主打[前置仓+到家]模式的生鲜电商,叮咚买菜为 ...
- 谈谈数据决策平台搭建的必要性
自数据决策平台这个概念提出以来,围绕它的呼声就一直没有听过,然而数据决策平台搭建的效果并不那么尽如人意,很重要一个点在于搭建这个平台的人往往不清楚目的.用途,今天我们就来探讨为什么要搭建数据决策平台. ...
- 帆软数据决策平台连接SAP RFC实例
一.介绍 由于SAP ABAP开发出来的报表很单一,形式很有限,而且调整报表格式和形式都显得特别的鸡肋,所以现在将SAP系统通过RFC接口模式接入到帆软报表数据决策平台下展示.本文将详细介绍如何将数据 ...
- 基于大数据的农产品价格信息监测分析系统
温馨提示:文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介 本项目利用网络爬虫技术从某蔬菜网采集所有农产品的价格数据,包括北京.上海.安徽.湖北等全国所有省和直 ...
- 全球工业互联网平台应用案例分析报告
近年来,全球工业经济形势发生深刻变化,能源和原材料价格持续攀升,资源环境约束进一步强化,工业竞争格局深度调整,以人工智能.物联网.云计算等新一代信息技术与工业融合为主的第四次工业革命悄然来袭,工业企业 ...
- 电商 竞品分析_电商平台竞品分析报告.docx
Planning scheme 电商平台竞品分析报告 电商平台竞品分析报告 电商平台竞品分析报告 V1.0 2018-3-18 状态 : [ √ ] 草稿 [ ] 修改中 [ ] 定稿 文件标签: 竞 ...
- 2017年上半年 补天平台漏洞收录分析报告
声明 本文是学习2017年上半年 补天平台漏洞收录分析报告. 下载地址 http://github5.com/view/55018而整理的学习笔记,分享出来希望更多人受益,如果存在侵权请及时联系我们 ...
- 实训——基于大数据Hadoop平台的医疗平台项目实战
文章目录 医疗平台项目描述 数据每列的含义 数据分析业务需求 架构图 成果图 环境搭建 医疗平台项目描述 本次项目实训的目的是创建一个基于医疗行业问诊的通用数据分析平台.该平台立足于医疗行业背景,以采 ...
- 景联文科技—专业数据标注公司和智能数据标注平台
近年来,人工智能技术所带来的创新增量价值引人瞩目,各大企业开始在算力.算法.数据三大基础要素上做整体布局,加速推进人工智能产业进入效率化.工业化生产阶段.AI已成为数字经济时代的核心生产力,驱动着数字 ...
最新文章
- jQuery遍历json数组怎么整。。。
- 【安全技术】红队之windows信息收集思路
- Kubernetes 容器网络模型和典型实现
- java中把map转换成list
- PHP中文乱码解决办法
- 为什么Firefox 3及之后的版本不能加载本地的JavaScript文件了?
- 多线程bug处理记录
- 【职业】大一规划、体验生活、故事里
- mysql xml字段转json格式_mysql将xml数据或者json数据转换为表格。
- GNN + Zero-shot
- python统计中文字数_Python实现统计文本文件字数的方法
- h2o java,h2o深度学习权重和规范化
- The choise between Interface and Abstract Class
- 自学php多久可以工作_PHP语言自学要多久才能工作
- 京区航天研究所 哪些比较好的研究所?
- MATLAB---构造一个插值三次样条曲线
- 极客大挑战 2021
- 将uc/OS-III移植到stm32F103上并创建多任务
- std::system
- 对*.mht文件结构的一个浅显分析
热门文章
- 2017百度之星程序设计大赛 - 资格赛
- aspectjweaver的作用
- 恶意代码分析实战 lab1-4
- 用条码软件来制作证书
- 多媒体网路multimedianetworkingCDN的全称是Content Delivery NetworkSIP(Session Initiation Protocol)是一个应用层的信
- Protel99SE
- python卡方拟合性检验_卡方拟合优度检验
- 在线英英词典完整代码
- [转][darkbaby]任天堂传——失落的泰坦王朝(下)
- Windows下搭建FTP服务,FileZilla Server