大数据错题库（微信群Bug整理）

文章目录

- 请教下大家，我们老的数仓用的Oracle，基于数仓做了些应用，主要是各种角度的查询，用的储存过程来实现。现在数仓转到Hadoop上，应用可以连接hadoop来取数，整体改造就大了，储存过程里的逻辑太多，另外就是将处理完的数据再写回Oracle也来解决。想问下大家一般是采用那种方式来实现应用的改造比较合适，求教~~~
- 各位大佬，有用过hive处理递归么？
- 请问一个表，不分区，只分一个桶的缺点是什么呢？
- 群里面有面试过外包的吗大数据
- 请教一下，hive，我用insert into对一个分区写入数据，其中，一个字段我select错数据，导致那个字段是Null，后来我用insert overwrite用正确的数据对那份数据进行覆盖，但是语句执行成功后，select结果，那个字段还是Null，所以说应该怎么操作
- 有四个顶点坐标怎么生产polygon 有大佬知道吗
- 顾猫ning:彭于晏们，设计一个表格，要求能够反应某年某月份某种商品的销售转换率
- 09/Jun/2021:11:22:57 +0800 大神们有没有谁知道这个时间的格式是什么格式
- ls.:ERROR tool.ImportTool: Import failed: java.io.FileNotFoundException: File does not exist: hdfs://master:9000/opt/module/sqoop/lib/ant-contrib-1.0b3.jar
- Arraylist集合转换成数组，为什么不能对数组中的元素进行运算操作呢？
- 请教一下大家，如果你们在面试的时候被问到，如何解决数据漂移，数据溯源的问题，会怎么回答
- 请问一下spark on hive 和 hive on spark的性能哪个比较好？
- 我遇到的到二面折了
- 大佬们，问个问题，kafka那个内外网联通是怎么一回事，我现在创建生产者，一输入数据就报warn，说未连接上broker
- orc和parquet都是列式存储，有什么区别么，有没有什么不用的应用场景，那个用得多？
- 各位大佬，请问有没有遇到过，spark写数据到hbase，任务一直卡住不动呢？
- 今天被问到给一张表，表里面有日期，怎么推倒出往前五个工作日的日期
- create table t_student(
- 请教个问题，需求：车道上有10量车（id从1到10）。每辆车每隔一段时间会发送事件到kafka，有车辆的id，车速，时间的三元组。如何找出和每辆车车速相距最大的车。（如id 1过来，找id 2-10和他车速相差最大的那条数据）用flink如何实现啊这个
- hive 有什么多行转多列
- 数据倾斜
- MySQL varchar（30）改成varchar（100）对之前的数据有影响吗
- 1、 Flume Channel选择器有哪些2、Kafka高效读写数据原因
惟吾德馨LY: memory 和file
狐狸哥: memory 和file
惟吾德馨LY: 顺序读写，零拷贝，分区，批量发送，数据压缩
- 你直接驻场的别的公司做事情了，不就外包了吗
- @Alex-上海-大数据开发大佬，问个问题，，standby NameNode，不是帮助active合并image和edit文件吗，，如果standby NameNode挂了呢，，，这个合并咋进行？
- 1.简述一下hdfs的副本分发策略？当副本数量为5时，多余2个如何分发
- hadoop集群中单个机器的磁盘占用达90%，怎么排查原因呀？
- 请问一下flink如何批量写入到MySQL啊官网上面的例子好像是一条一条的插入的
- 有大佬能帮看下么，mysql这一条数据的select值为什么和sum值不同呢
- 请问谁有Hadoop集群搭建的教程啊！
- 截图
- select id from a where id not in (select id from b); forever:select id from a left join b on b.id=a.id where b.id is null; 这两个sql结果是一样的，执行性能有差异吗，哪位大佬分析下呀
- 大数据架构师都要笔试？啥公司这么niubility?
- 官网说sudo yum install yum-utils 但是报错
- 有大佬知道hdfs的黑白名单吗？有公司用嘛？除了当防火墙之外，有别的用途吗？
- Hive是如何将SQL转化为MapReduce任务的
- 请问一下大佬们flink怎么连接clickhouse

请教下大家，我们老的数仓用的Oracle，基于数仓做了些应用，主要是各种角度的查询，用的储存过程来实现。现在数仓转到Hadoop上，应用可以连接hadoop来取数，整体改造就大了，储存过程里的逻辑太多，另外就是将处理完的数据再写回Oracle也来解决。想问下大家一般是采用那种方式来实现应用的改造比较合适，求教~~~

潇洒舞步Lawrence:
@翔翼数据中台

翔翼:
没上数据中台，数据中台输出DataAPI 来实现？

翔翼:

WZ:
数据湖

ChoricCao:
数据湖的概念我还是没搞清楚

ChoricCao:
数据湖到底指啥呢？

年少有为:
可以简单理解成各种格式的数据，格式化的、非格式化的、键值对的等等

勤快懒人:
数据仓库本身上讲已经是结构化或者是半结构化的数据数据湖就是半结构化 +没有结构的数据数据源更加丰富【数据仓库或者数据湖的作用感觉和代码复用很想常用的抽出来】

勤快懒人:
个人理解

年少有为:
可以兼容各种计算引擎、各种olap引擎

樱木花道:
感觉就是数据抽到数据湖只用一次处理，其他的都能查

樱木花道:
如果是lambda架构，你的数据要处理两次

樱木花道:
离线实时数仓分开的

星期五:
主要支持行级更新和接近实时读写吧

各位大佬，有用过hive处理递归么？

刘浩.:
什么问题

给你一个大比兜。:
我们数据会有树结构的，

给你一个大比兜。:
比如是这样

给你一个大比兜。:
[图片]

给你一个大比兜。:
前面的表处理成第二个

给你一个大比兜。:
@刘浩. 大佬，类似这样的您有遇到过么？

刘浩.:
指定列递归去匹配呗

给你一个大比兜。:
能说一下思路么？我有点菜

刘浩.:
hive吗？

给你一个大比兜。:
是的

刘浩.:
[链接]start with connect by prior 实现递归查询（查询数据的树形结构关系）

刘浩.:
我在地铁上呢

给你一个大比兜。:
好的，麻烦了，我看一下

刘浩.:
你先看看

给你一个大比兜。:
好的

给你一个大比兜。:
大佬这个好像是orcale的 hive用不了吧

刘浩.:
着急吗？

刘浩.:
不着急我到家跟你说啊，地铁信号太差了

给你一个大比兜。:
不着急，好的，您注意安全

刘浩.:
给你个思路

刘浩.:
第一个表的第二列每三个按顺序分别减去123就是第二个表的第一列

刘浩.:
然后你把结果当成第二张表的第一列插进去就行了

给你一个大比兜。:
不是这只是举个例子里面的数字不重要重要的是这个关系我们数据不一定是按顺序的在orcale中的说话就是父类和子类的关系的

刘浩.:
我不知道你们数据啥样，我也不知道咋给你说啊

给你一个大比兜。:
确实挺恶心的 hive好像很难处理递归这个 orcale的话刚才大哥给我的那个链接就可以处理的

刘浩.:
udf啊

给你一个大比兜。:
udf 然后for循环？

给你一个大比兜。:
应该可行

刘浩.:
先看数据再去想怎么处理

请问一个表，不分区，只分一个桶的缺点是什么呢？

妄想复苏的心跳:
你是说hive？

妄想复苏的心跳:
分一个桶？

αβ:
嗯嗯

妄想复苏的心跳:
分一个桶和没分没区别吧分区分桶的目的都是把大的数据集拆分开如果你不分的话那你这张表的数据量可能会特别大那你做点什么操作的时候会很慢

妄想复苏的心跳:
但是一般都是分区居多我们公司目前还没有使用过分桶的操作

αβ:
没有分区，分桶差不多也类似分区，是物理上的

Jason.zhou:
分桶把数据打散

科弟:
分桶比分区粒度更细

科弟:
分桶会在分区的下再分成不同的文件

αβ:
相当于分区是一级，分桶是二级

我麋鹿啦:
分区是把文件做在不同目录里面，分桶是一个目录里面多个文件

锦瑟:
[图片]

锦瑟:
意思是像这种的就是只分区,没有分桶的吗

αβ:
不是分区是逻辑上的，分桶是物理上的嘛

我麋鹿啦:
你完全可以先dfs -mkdir一个目录然后dfs -put数据进去，接着alter table tbl add partition()来创建

科弟:
分区也是物理上的

科弟:
分桶是表目录下分文件

陈大胖:
分桶是为了避免多级分区带来的海量目录的寻址问题，分桶是平铺，和单纬度分区效果一致，不过分桶只基于hash，分区可以基于hash还有自定义分区

群里面有面试过外包的吗大数据

起风了:
水的一笔

晚风:
我面过，外包的都比较简单

yanfengzhang:
@晚风-深圳-大数据开发都会问啥问题呀？

晚风:
大部分都是根据你简历上写的问，然后再就是sql优化，拉链表，实际项目的流程

晚风:
一般都是根据你简历技能简介问

请教一下，hive，我用insert into对一个分区写入数据，其中，一个字段我select错数据，导致那个字段是Null，后来我用insert overwrite用正确的数据对那份数据进行覆盖，但是语句执行成功后，select结果，那个字段还是Null，所以说应该怎么操作

骑着蜗牛追导弹:
是不是字段匹配问题啊

我麋鹿啦:
什么意思

Jason.zhou:
drop 分区？再重新insert试试

我麋鹿啦:
没有alter权限

我麋鹿啦:
在不drop/truncate的前提下，还有救吗

Jason.zhou:
那就不懂了

骑着蜗牛追导弹:
等会我回去给你发篇文章，这会在外面，可能对你有帮助

骑着蜗牛追导弹:
@我麋鹿啦

我麋鹿啦:
嗯嗯

haha:
下班了

骑着蜗牛追导弹:
https://blog.csdn.net/qq_26442553/article/details/80380590

我麋鹿啦:
我不是里面那个问题，不过还是谢谢了

haha:
可以建个临时表，表结构和那个目标表一样，测试一下临时表中那个字段是否为空

haha:
如果不为空的话，就是目标表分区的问题了，

我麋鹿啦:
就是空的，我用is null来筛过

我麋鹿啦:
就是搞不懂insert overwrite为什么覆盖不了

haha:
你自己建个临时表也是空的么

haha:
那是你源表问题吧

haha:
或者sql语句有问题

我麋鹿啦:
用来覆盖目标的那些数据非空，我是因为目标数据的字段空了，所以想拿非空数据覆盖，结果insert overwrite之后，空的字段还是空的

haha:
没遇到过，之前覆盖过都成功的

haha:
看看你语句就知道了

王哲:
字段类型对得上吗

我麋鹿啦:
原本是string，结果误操作，insert了Null，后面再拿string去insert overwrite，还是Null

我麋鹿啦:
我不带insert，直接select出来，都是有非空的

科弟:
可以先用一条数据insert overwrite

科弟:
看看null的数据还有没有

科弟:
然后再用目标非空数据覆盖

科弟:
@我麋鹿啦一个思路，不知道行不行

我麋鹿啦:
嗯，我明天试试

科弟:
明天反馈一下结果哈，如果可以以后遇到类似的问题直接这么干

有四个顶点坐标怎么生产polygon 有大佬知道吗

加减乘除:
生成

more haste, less speed:
以前搞过

加减乘除:
怎么搞的求救

more haste, less speed:
val coords: Array[Coordinate] = Array[Coordinate](
new Coordinate(TopLeftLongitude, TopLeftLatitude),
new Coordinate(TopRightLongitude, TopRightLatitude),
new Coordinate(BottomLeftLongitude, BottomLeftLatitude),
new Coordinate(BottomRightLongitude, BottomRightLatitude),
new Coordinate(TopLeftLongitude, TopLeftLatitude)
)

more haste, less speed:
类似于这种吧

顾猫ning:彭于晏们，设计一个表格，要求能够反应某年某月份某种商品的销售转换率

顾猫ning:
用数据表解决实际问题，这怎么弄呢？

09/Jun/2021:11:22:57 +0800 大神们有没有谁知道这个时间的格式是什么格式

大雄:
hive中怎么转换它

南风未起:
自己写个udf？

南风未起:

枫叶闲庭:
[链接]Hive functions 全家桶

枫叶闲庭:
这个估计可以帮到你

枫叶闲庭:

枫叶闲庭:
这个如果没，估计hive原生的就无解了

louwin:
我记得有一个string format啥的

BigManor:
这个里面判断是否为空值，如果是则显示为null，怎么可以把这个null改成显示0

BigManor:
关键是这个值还被做了分母

BigManor:
nvl

BigManor:
直接把null改成nvl吗

BigManor:
ifnull或者coalesce函数

BigManor:
你搜一下用法就知道了

BigManor:
改完是这样吗

BigManor:
对

BigManor:
报错了

BigManor:
[图片]

BigManor:
这是分母

BigManor:
说括号附近有错

BigManor:
对的

BigManor:
放在外面

BigManor:
如果你整个表达式为null，则为0

BigManor:
coalesce(expr,0)

BigManor:
是这样吗

BigManor:
就是里面该怎么判断还是怎么判断

BigManor:
判断完了出来null值再改成0

BigManor:
大佬牛逼

BigManor:
coalesce(你的分子/c.last_…_xs,0) as until

ls.:ERROR tool.ImportTool: Import failed: java.io.FileNotFoundException: File does not exist: hdfs://master:9000/opt/module/sqoop/lib/ant-contrib-1.0b3.jar

ls.:
sqoop 导入出现的问题，怎么解决

王哲:
所以文件到底存不存在

haha:
是不是放到中文目录下了

ls.:
[图片]

ls.:
这个是存在的

约半:
这不是个本地路径吗

ls.:
嗯

约半:
[图片]

约半:
这是hdfs路径

ls.:
对

王哲:
hdfs dfs -ls /opt/module/sqoop/lib/
你执行下这个命令，看下你的输出

ls.:
ls: `/opt/module/sqoop/lib/’: No such file or directory

ls.:
这个是本地的，hdfs没有的

王哲:
那不就得了

王哲:
错误告诉你是hdfs上没有这个文件，因为你放到本地了

ls.:
你们用sqoop之前还要把sqoop拷贝到hdfs吗

Dasein:

锦瑟:
如果目标或者源在集群上,那当然要把sqoop放在集群了呀

Arraylist集合转换成数组，为什么不能对数组中的元素进行运算操作呢？

藍揽星:
因为你这个是object类型的吧

oooooocean:
[动画表情]

藍揽星:
不能加

藍揽星:
转一下类型试试

摸着你的脸的我的钳子:
我已经找到原因了

oooooocean:
什么原因

摸着你的脸的我的钳子:
集合中只可以存储对象的引用而不可以存储基本数据类型 array [2]获取出来的是int的包装类integer对象，对象不可以进行运算操作，需要显式转换为int 进行包装类拆箱

请教一下大家，如果你们在面试的时候被问到，如何解决数据漂移，数据溯源的问题，会怎么回答

yanfengzhang:
@Alex-上海-大数据开发你被问到了？

大数据梦想家:
昨天跑出去面试，被问到了

海岛海藻:
群主也在面试吗

大数据梦想家:
是哇，通过面试发现需要提升弥补的问题

海岛海藻:
我复习了感觉啥都复习了，又感觉啥都不会

海岛海藻:
这个状态

海岛海藻:
吓得我不敢去面试

blue:
不会啊

:
面一下，你就知道自己哪些会哪些不会了

blue:
解释下概念名次

Steven:
数据漂移问题可以通过数据质量检测来发现吗？

yanfengzhang:
@Alex-上海-小数据开发现在面试不大部分都是视频面试或者电话面试么，现场面试的比较少吧

大数据梦想家:
现场面试的多

blue:
现在很多是一面电话或视频

blue:
过了才现场

blue:
数据漂移多获取一天分区

waybechan:
数据飘逸可以在数据采集的时候, 在flume里面用拦截器把 Event的header改成数据产生的的时间戳

BigManor:
以战养战

blue:
没用的

waybechan:
那要怎么处理…

惟吾德馨LY:
[图片]

樱木花道:

惟吾德馨LY:
之前看到过的

blue:
获取两天分区

waybechan:
没法预防吗

blue:
没有

blue:
现在还有用flume 的吗

樱木花道:
有的吧

blue:
大中公司早就不用了

大数据梦想家:
什么是数据漂移，画个图

大数据梦想家:

waybechan:
用Logstash吗

大数据梦想家:
A，B，C 有关联关系，在 t-1 无法同时获取到三个表的数据

樱木花道:
都是自己写的组件，拉的吧

blue:
datax

樱木花道:
logstash太重了吧

樱木花道:
阿里爹

waybechan:
kettle呢

海岛海藻:
阿里爸爸说你买的我的服务里面啥都有

海岛海藻:
傻瓜式的教程

海岛海藻:
你不会我还可以给你培训

海岛海藻:
24小时提供人工服务

樱木花道:
以后估计都会这样

blue:
canal maxwell

goku:
骗人的要提交工单

goku:
阿里大佬脾气超大

waybechan:
那日志数据导到hdfs用啥

blue:
datax

海岛海藻:
我这用他们 clickhouse 把我们当小白鼠

海岛海藻:
内部fix 给我们用

海岛海藻:
都没发版的

blue:
maxwell和canal 导binlog

樱木花道:
我还是挺看好鲲鹏云的

请问一下spark on hive 和 hive on spark的性能哪个比较好？

waybechan:
spark on hive

van:
怎么说？

钟爱三毛:
Spark on hive是hive 用spark做计算引擎吗

van:
用的是spark，导一下hive的包啥的吧

蓬蒿人:
@+深圳+Java 是spark用hive.得元数据

钟爱三毛:
@虎哥-杭州-大数据开发谢谢

蓬蒿人:
客气，一起学习进步

van:
是像这个帖子说的一样吗？spark on hive解析sql用的是spark所有效率更高？

van:
[图片]

樱木花道:
除了元数据用的是hive，其余的都是spark自己的

兜兜转转:
hive on spark是用的spark作为计算引擎，其他的还是hive sql的

蓬蒿人:
@cathy+深圳+大数据开发解析SQL用的都是Apache 的 Antlr

樱木花道:
spark效率高是因为他可以优化rdd或者说dag

van:
调优的时候手动优化吗？还是说系统会自己优化？

樱木花道:

van:
抱歉

樱木花道:
自动针对现有的SQL优化

van:
感谢感谢~~

樱木花道:
自己优化SQL就好

樱木花道:
hive on spark更新，依赖hive的更新，比较被动，spark on hive 就是spark自己决定就好了

van:
原来如此

我遇到的到二面折了

大佬们，问个问题，kafka那个内外网联通是怎么一回事，我现在创建生产者，一输入数据就报warn，说未连接上broker

BigManor:
警告不是可以不理会的吗

南风未起:
但是，消息发不出去呀

南风未起:
它一直刷那个信息

加减乘除:
发一下报错信息

南风未起:
WARN [Producer clientId=console-producer] Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

南风未起:
就这样

加减乘除:
你broker地址配置的正确吗

加减乘除:
看着像没配置对

南风未起:
我也不知道

南风未起:
[图片]

南风未起:

南风未起:
就是搞不清楚这几个参数干啥的

南风未起:
8.那个是公网的

南风未起:
172.那个是内网的

Mr.Yang:
你确定外网环境可以访问内网的kafka吗

Mr.Yang:
你把你访问kafka命令放到内网跑一下试试看

南风未起:
不知道，但是这个我都写不进呀

加减乘除:
执行命令发一下

Mr.Yang:
kafka集群是内网上还是外网？

南风未起:
kafka-console-producer.sh --topic hotItems --broker-list localhost:9092

南风未起:
不是集群

南风未起:
单台机器

加减乘除:
你看看你hosts中配置了什么

南风未起:
[图片]

宽容:
远程一下

南风未起:
[图片]

南风未起:
你看，我打完ll就开始刷起来了

南风未起:

加减乘除:

南风未起:
[图片]

加减乘除:
把localhost:9092 换成图片的试一哈

Mr.Yang:
你检查你端口，ip不要写localhost，用IP试试

南风未起:
好了。。

南风未起:
[动画表情]

宽容:
牛逼@助猿团队_李佳琪

南风未起:
不过这是为什么

南风未起:
我本地连kafka用什么呢

宽容:
不愧是得过奖的大佬

南风未起:
8开头的地址？

加减乘除:
你连接kafka 需要ip+端口对吧

加减乘除:
但是你ip需要的是部署kafka的ip啊

加减乘除:
也就是9020端口的ip

南风未起:
不是，我在服务器生产数据，本地去拿

南风未起:
是用外网的ip对吧

加减乘除:
对

orc和parquet都是列式存储，有什么区别么，有没有什么不用的应用场景，那个用得多？

科弟:
好像parquet用得多点，见过的

blue:
hive 不都是orc 吗

景行:
hive用orc跟inpala集合的时候，好像会有问题

伟:
把好像去掉，impala就不支持查询orc格式的表

伟:
orc对日期格式也有问题

伟:
bug多，不如parquet好

景行:
这个不清楚，大佬能稍稍举个例子吗？

伟:
很怪异的问题，不是orc重度使用者发现不了

景行:
好嘞，下午搜搜看，我们没选择用orc就是考虑到跟inpala的集合问题。

伟:
impala

景行:
哈哈，对，

景行:
2次都打错了

伟:
date类型插入orc格式表的string字段中，查询报错，如日期比较等，无法完成查询

伟:
这是其中一类场景，可以去测试

景行:
好的，谢谢大佬，

伟:
比如这个函数date_diff(current_date(), xxx_date)

blue:
impala 和 spark 对 parquet 优化好

blue:
orc更适合hive

各位大佬，请问有没有遇到过，spark写数据到hbase，任务一直卡住不动呢？

樱木花道:
日志？

Fzad:
日志没有报错，任务一直运行状态

Fzad:
总共就两条数据

樱木花道:
啊这，挨个排下问题呗

justdodt:
先找到哪个task卡住了，然后去看这个task的日志

justdodt:
实在不行，jstack 分析一个这个 executor的线程堆栈

justdodt:
是不是哪里卡住了

勤快懒人:
你先take 打印一下然后在把分区变成1个然后在开始写

Fzad:
好的

Fzad:
就是卡在某个地方了

justdodt:
你先发一下这个task的日志

Fzad:
[文件]

Fzad:
@深圳-大数据-zeroTohero 麻烦了

justdodt:
[图片]

justdodt:
看一下这个

Fzad:
这个是她卡很久了，我手动kill的

sunshine:
请教一下，如果现在sparkstreaming每次读取一批小数据，要去和超大表（8T）（在hive或者hbase）join，但是集群内存不足以把大表读取进来，怎么处理？

justdodt:
你这个是SparkStreaming写HBase么？

Fzad:
我正在做测试，就手动糟了两条rdd

今天被问到给一张表，表里面有日期，怎么推倒出往前五个工作日的日期