传统行业如何搭建大数据团队?
这个问题很笼统但也情有可原。现在很多企业认可了数据的价值,提升业务,降低成本,开拓新产品,减少风险等等,越来越多的企业要进行数字化转型,要建设大数据平台,要成立大数据团队。
说到传统行业要搭建大数据团队,那么其实问题就来了:
- 为什么要搭建大数据团队?这个起因是什么?
- 传统行业,具体指的是哪个类型的行业,最好可以细分;
- 有哪些需要注意的地方?——这个是从技术角度,还是从管理角度?还是二者都有?
第一个问题会有以下几种可能:
1、企业的管理者意识比较超前,希望提前布局大数据技术,储备好大数据团队,那么需要进行大数据领域探索时就可以快速上手。
2、企业的数据存量很大,已有的Oracle、MySQL或者其他类型的数据库已经无法承担这种工作,随着数据量越来越大,传统的数据库计算速度较慢,或者根本无法支撑。企业可能已经引入tableau、@帆软之类的BI工具,但是BI工具经常“卡死”,其实不是BI工具的问题,而是底层数据库无法支撑,急需采用大数据技术,支撑BI系统的需求;
关于BI应用于大数据平台的结合,大家可以看看这篇文章《基于hadoop架构的企业数字化转型方案!》
3、数据存量虽然不大,但是数据增量很快,那么这时候就“着急”了,希望尽快研究大数据技术,进行迁移,否则后面数据库扛不住。
已上几种情况都是需要采用大数据技术的,那么是否需要搭建大数据团队来实现,这又要看其他几个问题了:
1、业务部门有无大数据诉求?这里并不是说业务部门希望使用什么大数据技术,而是说业务部门希望某个模块希望更“智能”,例如有商品推荐、有实时告警、有更快的生产经营分析报表……,种种诉求都是业务诉求,但是既有的技术无法支撑,这时候就需要引入大数据技术;
通常,业务诉求是大数据的出发点,也是最终目标,也是让老板看到“价值”的地方,如果搭建了大数据团队,研究了大数据技术,却没有解决业务问题,老板会觉得这是成本的浪费。
2、业务部门的诉求细化:业务需求决定技术架构,搭建大数据团队之前,需要先了解业务部门的规划和诉求,基于这个诉求再来设计技术架构,技术架构的设计可以与团队搭建并行,二者相辅相成,大数据的技术框架非常多,没有什么人是精通所有框架的,一般只能精通其中的一两门就不错了。
3、在技术架构设计之前:是否采用独立搭建大数据平台?是否可以采用公有云平台?独立搭建的特点是数据自有,且可以深入研究大数据技术,比较适合规模较大,技术能力强的企业;采用公有云平台,特点是不用理解技术,只需将数据传递到公有云服务商即可(阿里云、腾讯云、百度云、华为云……,其中阿里云的技术相对成熟度高一些);
4、技术架构的设计:如果确定不采用公有云的话,就是自己搭建大数据平台,那么就理清楚以下几个问题:数据在哪里?数据平台的建设需要哪些组件?是否需要实时计算、是否需要离线计算、是否需要交互式查询?有哪些分析主题?数据仓库怎么搭?……
这里是技术架构了,这并不矛盾,就像刚才说的,技术架构与人才团队建设需要并行。
5、已有团队的人员组成情况:笔者参与的多个项目中都会遇到,对接的客户都是传统企业,对ERP技术挺了解的,写SQL也还行,但是大数据技术就很不了解了,解决办法有2种,第一是招人,从外面招聘大数据开发或架构师,第二是直接采购商用的易用的大数据平台。
对第一种方法有好处也有坏处:好处是招来的人是自有人员,相当于企业自己掌握了这门技术,这种比较适合金融、运营商或财力雄厚、IT基础设施比较好的大型企业;弊端是招聘可能并不容易,大数据的优秀人才一般集中在互联网领域,跳槽到传统企业的可能并不多。
第二种方法是采购已有的商用平台,这种方式与作者的问题并不偏题。市面上有很多成熟的商用大数据平台,Cloudera、星环、华为、亚信等等,都有对应的产品线。
如果是自己搭建大数据团队需要注意哪些问题呢?
我认为,传统企业在搭建大数据团队时,要做到以下几点:
1、老大不参与?那可不行
中国有句老话叫做“屁股决定脑袋”,具体办事人员往往难以在全局和宏观的高度把握大数据对于一个企业的应用规划和价值。
企业推行大数据的最终目的,是要让它成为公司决策的“大脑”、市场销售的“指挥棒”,说到底,大数据要能够支撑方方面面的工作,是整个企业级别的大事。
所以,大数据战略的推进,需要企业领导者充分参与,才能保证不跑偏。否则,大数据项目只会沿袭旧有的运营模式或流于形式。
2、先内部“组队”,专家只能做“外援”
企业做大数据要先组队:除了“外援”,自己企业里搞IT建设的、做市场的、做销售的、做服务的、搞管理的都得配上。简单来说,就是这个队伍里,必须有“做数据”的人、“分析数据”的人和“用数据”的人。
“外援”总归是要离开的,只有通过大数据的前期实施,实现自己大数据团队的快速成长,最终才能达到自有团队独立、持续应用大数据的目标。
3、先尝尝大数据的“味道”,再谈怎么做
很多企业做大数据,一开始就大张旗鼓做建设。要知道大数据平台一旦建起来,若是不好用或是有问题,再来改,搞不好就是全盘颠覆。
所以,建议在建大数据平台之前,先花一点时间做大数据的尝试。比如对于要开展的一个促销活动,给出大数据的支撑。即便是最简单的大数据尝试,也能让我们发现搭建大数据体系时可能存在的问题。
4、做大数据就得“私人定制”
数据拿不到?流程走不通?系统和系统之间无法交互?这些看似不大的问题,却是大数据在未来是否能够发挥效力的底层基础。把好企业的脉,发现潜在的问题,才能够最大程度的发挥大数据的效力。
传统行业如何搭建大数据团队?相关推荐
- 传统行业如何“玩”大数据?
企业的数据分析能力金字塔:传统行业如何"玩"大数据? 写在前面 我写这篇文章的初衷源于两个故事: 故事一:一位在互联网行业做数据库架构多年的同事一起吃饭,问起我现在在说什么,我说自 ...
- CIO时代学院院长姚乐:传统行业遇上大数据 拥抱智能化未来
近几年,互联网行业发展突飞猛进,"大数据"技术瞬间变得炙手可热,当然,对于发展中的大数据技术而言,很多行业都不会错失良机.近日,CIO时代学院院长.中国新一代IT产业推进联盟秘书长 ...
- 网鱼网咖-利用数加快速搭建大数据平台,极致洞察,为客户带来从所未有的体验。...
免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的 ...
- 网鱼网咖-利用数加快速搭建大数据平台,极致洞察,为客户带来从所未有的体验。
免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的 ...
- 五个篇章讲明白如何从0到1搭建大数据平台
大家好,我是一哥,整理了一下之前写的搭建大数据平台的5个篇章,请大家收藏,文末可以获取完整PDF版本. 01 如何从0到1搭建大数据平台 大数据时代这个词被提出已有10年了吧,越来越多的企业已经完成了 ...
- 自拍会不会被大数据_不会搭建大数据平台,我被老板优化了...
[51CTO.com原创稿件]随着业务的飞速发展,信息化作为业务的支撑,各个企业都建立了自己的信息化系统. 图片来自 Pexels 在业务增涨过程中,每个企业不知不觉积累积累了一些数据.无论数据是多是 ...
- 从0到1搭建大数据平台之数据计算
文章目录 前言 一.传统的数据计算 二.Hadoop的崛起 三.离线计算 MapReduce Hive SparkSQL 四. 实时计算 Spark Streaming Flink 总结 前言 大家好 ...
- 【AI案例】(二)搭建大数据Python生态知识体系
文章目录 1. 软件在大数据方向的应用 2. 大数据方向应用: 3. 大数据的应用流程 4. 传统数据分析的痛点: 5. 大数据的应用流程与生态圈 6. 大数据技术框架应用 7. Flink框架应用 ...
- 传统企业高薪招“大数据”岗位,到底靠不靠谱?
本文转自知乎 作者:接地气的陈老师 ----------------------------------------------------- 今日有同学问道:最近在面临的一个难题,XX一家医药公司, ...
最新文章
- 计算机书籍-机器学习导论(原书第2版)
- 算法 求一个数组的最长递减子序列 C
- 全卷积网络(FCN)与图像分割
- 37、Power Query-不使用IF嵌套进行匹配
- Codeforces 997D Cycles in Product (点分治、DP计数)
- mysql的基本的查询语句_Mysql的基本查询语句
- [蓝桥杯][2014年第五届真题]地宫取宝(记忆化搜索)
- WinCE中命令行工具Viewbin简介
- Error: Can't resolve 'babel-loader'
- JAVA进阶教学之(单链表数据结构)
- centos 本地化配置
- 作者:​惠丹(1991-),男,兰州大学资源环境学院硕士生。
- CodeForces - 1485B(找规律+求和) acm寒假集训日记21/12/31or22/1/1
- 实录:有钱男性的真实私生活
- java web实现文件下载的注意事项
- Android中类似Linux下ldd分析可执行文件和动态库对库的依赖
- 当Python中混进一只薛定谔的猫……
- 最强联合!北大清华互相开放本科课程(附课程名单)
- 拯救微信多号党的超实用工具,电脑版PC微信双开、多开、防撤回补丁工具
- OpenFOAM提取等值面并计算面积
热门文章
- 【纪中受难记】——Day21:调整心态
- c语言如何解超越方程
- Android第三方开源对话消息提示框:SweetAlertDialog(sweet-alert-dialog)
- 查看docker与宿主机网卡的对应关系,tcpdump在容器外网络抓包
- IT项目管理之软件测试
- Shell ❀ 条件判断语句
- Java基础之刨根问底第6集——集合与List
- python circle后面是什么意思_pythoncircle
- 论文 | 导航 | 2022年亚利桑那州立大学硕士论文《图神经网络与优势Actor-Critic强化学习算法用于多智能体导航》
- 代码的思路与代码的实现