hadloop大数据平台论文_企业大数据平台建设过程中的问题和建议
2
0
1
7
年
第
1
2
期
信
息
通
信
2017
(总第
180 期)
INFORMATION
&
COMMUNICATIONS
(
Sum
.
N
o
180)
企业大数据平台建设过程中的问题和建议
陈实如
(方正宽带网络服务有限公司,
北
京
100011)
摘
要
:
总结了企业大数据平台建设过程中的几个问题。
客观认识数据价值,
提出大数据研究要与业务应用需求密切相结
合
,
研究成果必须落地的观点。大数据平台的建设需要统一规划小版本迭代完善,
是一个长期研究过程。
最后总结了经
历宽带用户画像大数据平台建设的心得和体会,
对行业相关企业开展大数据研究工作具有参考价值。
关键词:
大数据;人物画像;标签体系
中图分类号:
TM
76
文献标识码:
A
文章编号=
1673-1131(2017)12-0141-02
〇
引
言
数据的确有价值,
把更多的数据采集到了数据中心,
避免
数据孤岛,
构建大数据平台,
实现数据统一管理,
统一分析挖
掘
,
数据就具备了更大的价值。利用数学工具,
分析和挖掘数
据的关联性,
构建数据模型,
开采数据金矿,
探索基于数据的
新业务模式,
新商业价值。在这种背景下,
大数据很火。只要
有数据的企业,
都在讨论和建设了自己的大数据平台,
展现自
己企业的数据挖掘结果。同时,行业里也涌现出了大数据服
务公司,从专业角度为企业提供咨询、
建模、
开发等工作,
大大
促进了大数据工作的进展。挖掘数据内在联系一定能找到金
矿
,获得额外惊喜收获?答案并非如此。大数据讲究的数据
的质量,数据的维度,数据的内在关联性,而不是简单地有
10
T
B
量级的数据。本文总结了宽带用户画像平台建设过程
中出现的问题,
并提出了参考建议。
1
认
知
问
题
数据不一定是万能的。数据由业务过程产生,只有具备
关联关系的数据才能反映控制体本身特性。这种关联关系可
能是显性的,可能是隐形的。显性关联关系是很容易发现的,
隐形的关联关系是很难发现的,但隐形的关联关系从业务逻
辑上是可以解释的。
隐形关联关系很难用单一的线性和非线性模型来表征,
那么利用数据结果特征来分析和建模控制体是可行的。对于
两个毫无关联关系的控制体来讲,即使利用大数据工具对有
限的数据样本构建了两者的关联模型,那也只能是数学上的
关联关系,
数学上的模型,不能有效反映业务控制体内在关联
特征,不能预测业务未来发生。所以企业数据资源是否有价
值
,
如何构建大数据平台,
如何分析挖掘数据价值,
是否真的
能挖掘出有价值的东西,是企业在构建大数据平台之前要重
点考虑的问题。要客观认知数据价值,不能为大数据而大数
据
,
盲目跟风,
而应该从业务角度来看,
从业务需求出发加强
业务与数据的研究,首先解决显性关联关系的控制体数据模
型
,然后去解决隐形关联关系的控制体数据模型。大数据研
究结果是要指导业务运营,以具体业务应用为考核目标,
不探
(3)分布式电源、
储能装置通信需求。分布式电源需要将
实时运行数据上传到主动配电网监控中心,并且接受监控中
心下发的
AGC
、
AVC
控制指令,
通信时延应小于1
秒,通信带
宽大致需要20
K
b
p
s
级
。储能装置需将各储能模块实时运行
状况监测数据上传至监控中心,同时接收监控中心下发的控
制命令,
通信时延应小于1
秒,通信带宽约为64
Kbps
~2
Mbps
。
1.
3
高级量测体系通信需求
(1)
智能电表通信需求。
智能电表是主动配电网中实现“
网”
与
“
荷”
互动的桥梁,
是实现柔性负载必不可少的。智能电表
实时采集用户用电信息上传给主动配电网监控中心,监控中
心向用户下发实时、
分时电价,
并对用户可调负载下发控制指
令
。智能电表电表5
分钟信息量约为60
0
字节,通信带宽大
致
需
要
0.016
Kbps
,智能电表信息一般采用低压载波通道汇集
至集中器,
一台集中器按管理500个智能电表计算,
则集中器
与监控中心之间通信通道带宽约需要10
Kbps
。
(2)
大客户负荷管理通信需求。
针对大客户负荷的具体需
求
,
可以采用双向互动的模式,
对负荷进行精细化管理。监控
中心将电能质量、
负荷预测、
负荷控制等信息下发,
大客户负
荷根据供电质量、
电价和停电信息,
优化用电时间,
提高经济
效益。
大客户负荷管理通信带宽约需要5
Kbps
,时延要求相对
较低,
约
为
3
秒
。
1.
4
配网设备在线状态监测系统通信需求
进行设备全生命周期管理是提高电网资产利用率的一
个重要举措。为了延长设备使用寿命、
提高设备检修效率,
需对主动配电网中设备、
线路的运行状态进行在线监测。
设
备
运
行
状
态
监
测
为
秒
级
业
务
,每
个
业
务
点
带
宽
需
求
约
为
10
Kbps
〇
2
结
语
主动配电网中的配电自动化、
高级量测、
负荷侧响应、
配
网设备在线监测都需要通信系统的支持。因此,通信系统的
设计被认为是主动配电网建设中至关重要的环节。而在设计
主动配电网通信系统时,首要任务就是明确主动配电网中各
业务类型及带宽需求。本文结合主动配电网特征,对主动配
电网中各项通信业务需求进行了详细分析,可供建设主动配
电网通信系统时参考。
参考文献:
[
1
]
马钊,梁惠施,
苏剑.主动配电系统规划和运行中的重要问
题[
J
].电网技术,
2015,39(6):1499-1503.
[
2
]
程
林,
刘琛,
康重庆,
吴强.主动配电网关键技术分析与展望
[
J
]
•电力建设,
2015,36(1):27-32.
[
3
]
柳
春芳.主动配电网的一体化设计方法[
J
].电力系统保护
与控制,2015,
43(11)
:49-55.
[
4
]
李得利.智能配电网通信系统探讨与性能分析[
D
].重庆:
重庆大学,2012.
[
5
]
苏波.佛山地区智能配电网通信方案设计及网络建设[
D
]
.
北京:华北电力大学,2013.
作者简介:付诚(1986-),男,
硕士,
工程师,
从事电力通信、
调度
自动化设计工作。
hadloop大数据平台论文_企业大数据平台建设过程中的问题和建议相关推荐
- 金融科技大数据产品推荐:蓝金灵—基于大数据的电商企业供应链金融服务平台
官网 | www.datayuan.cn 微信公众号ID | datayuancn 本产品为数据猿推出的"金融科技价值-数据驱动金融商业裂变"大型主题策划活动第一部分的文章/案例/ ...
- 康拓普:数据可视化,大幅提升企业大数据挖掘效率
数据可视化并不是最近才出现的新鲜事物,但大数据的出现,让数据可视化技术显得更为重要.比如,数据可视化在大数据分析挖掘中,就承担了极其重要的角色.由于我们人类是对图形图像极为敏感的生物,人对图像信息的解 ...
- 怎么评价两组数据是否接近_接近组数据(组间)
怎么评价两组数据是否接近 接近组数据(组间) (Approaching group data (between-group)) A typical situation regarding solvin ...
- hadloop大数据平台论文_大数据平台建设探讨
2019.03 1 概述 大数据平台通过统一的 大数据库实现全省业务信息 的集中 , 该库数据来源于全省各个业务系统和基础数据 库等应用数据 . 位置数据 . 搜索数据等结构化数据 . 半 结构化数据 ...
- 大数据资源整合分析平台_企业大数据管理软件_大数据资源整合管理系统
在现如今大数据时代下,很多公司拥有大量的数据信息,这些数据繁多并且复杂,对于不懂技术的人员来讲,无疑是巨大的难题,这些数据背后存在着巨大的价值,我们可以利用大数据的方式,来提高数据的使用率,便可以挖掘 ...
- 大数据 杨栋_《大数据时代的小数据建设》——论文
在教育教学中,大部分老师对如何轻松教会学生知识感到头疼,尤其是那些自觉性较差的学生,大脑里没有学习的概念,作业强迫做,而且有些还是为了应付差事而乱做,这是为什么呢?本人认为原因有二:一是作业量大:二是 ...
- 《企业大数据系统构建实战:技术、架构、实施与应用》——第3章 企业大数据解决方案 3.1 企业大数据解决方案实现方式...
本节书摘来自华章计算机<企业大数据系统构建实战:技术.架构.实施与应用>一书中的第3章,第3.1节,作者 吕兆星 郑传峰 宋天龙 杨晓鹏,更多章节内容可以访问云栖社区"华章计算机 ...
- 大数据数据量估算_如何估算数据科学项目的数据收集成本
大数据数据量估算 (Notes: All opinions are my own) (注:所有观点均为我自己) 介绍 (Introduction) Data collection is the ini ...
- python 3d大数据可视化软件_十大顶级大数据可视化工具推荐
要使数据分析真正有价值和有洞察力,就需要高质量的可视化工具.市场上有很多产品,特点和价格各不相同,本文列出了一些广泛认可的工具.其实企业如何选择一个合适的可视化工具,并不是一件容易的事情,需要仔细的考 ...
最新文章
- 小程序给视频加默认图片封面,点击播放视频并停止播放上一个视频
- docker中创建MySQL及在外部使用Navicat连接
- 面向对象的设计原则-类设计原则
- python四大器_Python编程四大神兽:迭代器、生成器、闭包和装饰器
- ubuntu14.04中安装open jdk1.8以及报错解决分析
- linux下集成开发环境之ECLIPSE--在线调试、编译程序
- 2022最新Funtool趣工具源码+iApp软件库/工具箱源码
- 计算机如何重新进行硬盘分区,最简单办法,如何在不重装电脑系统的情况下对硬盘进行重新分区-电脑怎么分区...
- 财富提升成都IT产业吸引力
- 未来科技蒲公英大飞_大烟草的下跌告诉我们关于大科技的未来
- 基于python的个人博客_一款基于 Django 的极简主义个人博客系统
- 怎样更改软件默认安装路径由C盘到其他盘
- MySQL连接查询,子查询,union(合并),分页
- FT4232 USB-SPI python调试笔记
- 分群思维(五)特殊的分群思维-同期群分析
- 如何在思维导图中增加泳道?以MindManager为例
- 推出免费在线缓存api 大家看有没有用呢
- Winform Windows Media Player 简易播放器
- 计算机化系统验证管理制度,计算机化系统验证(csv)文件清单
- 【Baidu Apollo】6.3 EM规划算法
热门文章
- biomaRt包下载转录本信息
- postman 接口测试工具介绍
- Linux进阶 vim grep sed awk 正则表达式
- 详解编辑距离(Edit Distance)及其代码实现
- Biopython-Chapter3.生物序列对象
- 计算机应用基础 网上教学设计方案,《计算机应用基础》(本)教学设计方案.doc...
- mysql tomcat 自动重连_基于tomcat+mysql的c/s模式下的系统自动更新
- 语义分割--End-to-End Instance Segmentation with Recurrent Attention
- 安卓中如何判断一个字符串是否为空
- Linux云服务器上python画图并保存