数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别？
商务智能。商务智能工程师是商业智能行业的工程师。从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等，都可以称为BI工程师。
ETL工程师：从事系统编程、数据库编程和设计，掌握各种常用编程语言的专业技术人员。也称为数据库工程师。
盲目地解释数据仓库的概念可能并不有趣。让我们从不同的角色开始。
老板：我是一家手机公司的老板。今天我要向董事会汇报。我将准备一份关于用户增长、用户保留率、用户活动以及过去三年中我手机中每个应用程序的使用率的报告。如果下面没有BI，我将被迫这样做。
我是一个非技术性的商务智能。我每天阅读竞争产品分析报告，看到双十一的销量，看到各种评论，知道我的产品有哪些缺点和优势，分析南北地区差异，国内外客户的偏好，总之，我有很强的行业解读能力和数据解读能力。在手机领域，我能画出非常漂亮的图表和PPT。今天老板让我做报告。我还需要刷我的脸，以找到ETL工程师，以帮助我用完报告的数据。基于这些数据，我想给出一定的解释，为什么这个月的手机销售不如上个月，为什么用户流失越来越严重，等等。
ETL工程师：我是食品链最底层的一个压力很大的ETL工程师。我可以编写shell，可以使用hadoop/hive/hbase，还可以使用超复杂的逻辑编写SQL。今天，无法单独计算数据的BI，让我再运行一些数据。我想让她提一下需求流程，但她说这是老板想要的（操作中使用的杀手锏）！！为了紧急处理，我不得不放下工作，为她运行数据。我花了半个小时为她运行数据，希望能有所不同。
众所周知，大数据工程师是大数据开发工程师。主要从事大数据平台建设。它要求实践者拥有Java基础。它还需要以下技术能力：hadoop、hive、hase、flume、storm、kafka、spark等。它是一个非常大的技术集群。
如果你认为我每天都这样做，那你就错了。我通常的工作不只是完成分配给我的任务。我还负责数据ETL流程、数据建模、定时任务分配，有时还负责Hadoop集群的维护等。我必须这样做。每样东西都可以单独拿出来写一本书。想系统学习大数据的话，可以加入大数据技术学习交流扣扣君羊：522189307，欢迎添加，了解课程介绍
以ETL流程为例，您需要将来自不同数据库、不同服务器的不同业务日志的原始数据规范化为相同的格式。您需要在分隔符上达成一致，然后将其导入分布式文件系统hdfs。甚至您需要定义业务系统的数据格式来制定规范。在数据收集之后，您还可以获得中间表、数据过滤、统一格式、统一ID和维度。度统一，通过不同的数据现象来执行数据，完成后，你会得到一些数据，如日报和周报，这时你需要根据需要将数据组织成一定的格式，然后引导mysql或hbase等。
总之，您只需要收集、处理和导入和导出各种数据。
但是这些数据仓库非常简单，ETL工程师有太多的空间可以玩。
1、通常，boss–>bi–>etl会给出报告。商务智能可以直接计算中间的数据吗？SQL太复杂了，所以你能标记所有数据吗，BI，甚至老板可以选择他想要的任何东西？
2、ETL工程师可以自动化数据收集、标准化业务日志格式和配置所有内容，但这些都基于N+1。这就是说，今天发生的事明天一定要看。有没有一个系统可以使数据分析实时或准实时？提到双十一屏幕，只有当Ma在12号到达时，他才能知道他已经做了多少交易而不拆分这些数据。
3、目前，大多数分析系统都是基于离线计算（hadoop/odps）。这里有个问题。如果您希望在Operation或BI中看到数据，则必须先放慢脱机速度，然后才能看到它。是否有一个系统可以支持您使用任何更大的数据量和更复杂的逻辑以毫秒为单位生成数据？
我没有提到算法工程师，大数据操作工程师等等。数据仓库的概念非常广泛，但在面对大型数据应用时却不值得一提。
如果我们对数据的价值进行分层，有很多方法可以进行分层。我只列出一种方法，有些人有五个等级。
第一层：为老板提供决策支持，如传统的财务报表
第二层：为运营提供决策支持，如淘宝运营商，这些运营商完全数字化。
第三层：为产品提供支持。例如，产品经理每天都会在报告中查看其中一个按钮的位置。
第四层：生产数据，如直接对接广告系统产生收入，如直接对接推荐系统为用户推荐产品，实现数千人，然后，例如，使用移动应用直接推送不同用户的消息。
第五层：大数据交换，直接受益于数据生成
大多数公司都能达到前两个层次已经很好了，如果能达到第三个层次，就已经很有说服力了，要达到第四和第五个层次，国内互联网公司不超过2家，大数据应用太大了。
数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别？相关推荐
- python大数据运维工程师待遇_大数据开发、运维、数据分析分别是干什么的？哪个薪资最高？...
玩转大数据首先要明确自己将要学习的方向,没有人能一下子吃透大数据里面所有的东西. 在大数据的世界里面主要有三个学习方向,大数据开发师.大数据运维师.大数据架构师. 哪个好?我不知道你所说的哪个好?指的 ...
- 阿里p6的大数据开发工程师都要学什么？
又涨啦!据第三方数据统计,2020年9月全国招收程序员352733人,9月全国程序员平均工资14469元,相比8月的14401元涨了68元.但不少人却说薪资根本没有这么高,其实虽然都是程序员薪资差别还 ...
- php 内容采集_php开发工程师和大数据开发工程师有什么区别
通过岗位职责.工作内容,告诉你php开发工程师和大数据开发工程师的区别?还为你对比php开发工程师和大数据开发工程师的学历要求.经验要求.工资待遇,为你揭晓php开发工程师和大数据开发工程师哪个好? ...
- 大数据开发都需要掌握哪些编程语言
当前正处在大数据时代背景下,大数据技术目前也正处在落地应用的初期,未来大数据的发展空间还是比较大的,所以学习大数据相关技术是个不错的选择. 大数据编程语言的选择要根据具体的工作岗位来进行,目前大数据领 ...
- 云时代架构之微店大数据开发平台架构演进
微店大数据开发平台架构演进 为什么需要大数据开发平台? 微店在16年4月份之前,数据开发流程基本是这样的: 开发人员通过公共账号登录安装了Hive.Hadoop客户端的gateway机器:编写自己的脚 ...
- 数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别？...
商务智能.商务智能工程师是商业智能行业的工程师.从需求分析师到数据仓库架构师.ETL工程师.数据分析工程师.报表开发工程师.数据挖掘工程师等,都可以称为BI工程师. ETL工程师:从事系统编程.数据库 ...
- BI、数据仓库、ETL、大数据开发工程师有什么区别？
一味的解释 数据仓库 概念可能没意思,我们从不同角色出发吧 老板 :我是一家手机公司的老板,今天要向去董事局汇报,我要准备一份介绍过去三年的用户增长.用户留存.用户活跃度.手机里面每个APP使用率等情 ...
- hadoop大数据工程师、数据开发工程师、数据仓库工程师 面试题目分享
仅限于工作年限1-3年 一.HIVE岗 1.order by,distribute by,sortby的区别 点击打开链接 2.内部表.外部表的区别及使用场景 点击打开链接 3.讲一下hadoop生 ...
- python大数据开发工程师_大数据开发工程师的职责
大数据开发工程师的职责 大数据开发工程师的职责1 职责: 1.负责数据采集.数据存储.数据查询.数据计算等基础平台的设计和开发工作; 2.利用Hadoop.Spark.Flink等技术进行离线和实时数 ...
最新文章
- android之lint警告This Handler class should be static or leaks might occur
- selenium定位方法
- 让SignalR客户端回调支持强类型
- harmonyos不用jvm,关于harmonyos:DevEco-Studio-20为跨端应用高效开发设计
- oracle以32位运行,Oracle在 32位系统上运行突破sga1.7g的方法
- Kafka启动报错：Timed out waiting for connection while in state: CONNECTING
- apscheduler executors
- 关于DX中纹理平移的一个小问题
- ArcGIS for Android Runtime100 基本操作（四）——GPS定位
- js 中json对象转字符串
- Servlet常见面试题
- 永恒之蓝-MS17010 CVE-2017-0146
- 向量积计算三角形面积
- 实时调试WebDriver代码
- ios学习之模仿韩寒one.一个UI
- python程序文件扩展名主要是什么_python程序文件扩展名知识点详解
- 屏的像素与传输速率_HDMI线的传输速率是如何定义的
- 商业虚拟专用网络技术十四 BGP/MPLS技术扩展
- Codeforces Round #715 (Div. 2) A. Average Height
- 中国地质大学(北京) 研究生 数学课《机器学习》期末考试 考试范围+考试题目+参考答案 2022秋