数仓建设之IP库的匹配

一、业务前提
二、解决过程
- 01）增加运行资源
- 02）通过增加切分块大小，减少实例数
- 03）明细表和ip库通过join方式
- 04）mapjoin内存方式
- 05）将IP库展开，进行等式join
- - ①将IP库信息的每一条数据进行展开如下
  - ②展开后，每个IP地址都对应一条国家省份城市信息，这样就可以避免范围匹配
  - ③使用join等式连接
- 06）IP库作为资源
三、集思广益

一、业务前提

介绍：在数据仓库建设中，用到IP库匹配的场景不在少数，比如电商行业用户地址、通信行业用户定位、媒体行业用户分布等等。

【历史】：在此之前的实现思路如下：
1）通过自定义UDF读取使用tunnel来读取odps中的ip信息表
2）然后将读取的信息封装或者直接写入一个list中
3）对数据按照ip的{start_ip,end_ip}进行全局排序。【此处start_ip和end_ip都是转化为long类型之后的值】
4）设置udf的传入参数为ip地址，返回具体的国省市信息

【现在】：由于某些原因，之前的IP库信息不全，所以采取了新型的IP库，旧IP库信息大概50万条数据，新IP库扩到了1400万条数据。发生了如下几个问题：
1）IP库信息扩大，使用tunnel读取数据时间增加，导致tunnel连接数居高不下，影响其他同步任务以及调度任务、前端查询任务
2）数据量太大，经常发生内存不足的报错，或者是运行时间太长，占用资源不释放导致其他任务无法一直处于等待期

二、解决过程

01）增加运行资源

set odps.sql.planner.mode = lot;
set odps.sql.mapper.memory=10240;
set odps.sql.udf.jvm.memory=8192;
set odps.isolation.session.enable = true;

结果：任务运行后，可以正常执行，但是因为拉数据时启动tunnel实例数据量太多【tunnel实例数上限2500】引起了其他部门查询报错以及本部门其他任务调度等待时间超时报错。

02）通过增加切分块大小，减少实例数

set odps.sql.planner.mode = lot;
set odps.stage.mapper.split.size=256;
set odps.sql.mapper.memory=10240;
set odps.sql.udf.jvm.memory=8192;
set odps.isolation.session.enable = true;

结果：任务运行完成，本部门和其他部门也没有异常报出，但是任务执行时间较长，担心如果按这个逻辑上限会影响任务调度和下游数据产出。

03）明细表和ip库通过join方式

left join (select * from project.ip_basic_info order by ip_start asc) ips on UDF_IP_TO_INT(IP) BETWEEN IPS.IP_START AND UDF_IP_TO_INT(IP)

结果：任务执行超时，无法返回结果。因为不等式join会导致数据都分发到一个节点上执行，对于数十亿的数据这显然是不可取的。

04）mapjoin内存方式

结果：IP库数据量多达1400万，大小已达到1个G，无法作为hash table来存储到内存中，因为hash table的表大小为10M，切分表也不太现实，步骤繁琐，且后期不好维护。

05）将IP库展开，进行等式join

①将IP库信息的每一条数据进行展开如下

public String evaluate(LongWritable ip_start, LongWritable ip_end) {for(long i = ip_start.get();i<=ip_end.get();i++){builder.append(i+",");}return builder.substring(0,builder.length()-1);}测试：
public static void main(String[] args) {Ip_to_Expand test = new Ip_to_Expand();LongWritable start = new LongWritable(3410411776l);LongWritable end = new LongWritable(3410412031l);test.evaluate(start,end);}
输出：3410411776,3410411777,3410411778,3410411779,3410411780,3410411781。。。。

②展开后，每个IP地址都对应一条国家省份城市信息，这样就可以避免范围匹配

③使用join等式连接

结果：在展开过程中，由于本身IP范围数据量庞大，一方面展开后数据量更为庞大，预估计可能超过明细表的数据，维度表的数据大于明细表的数据，方法也不可取。另外一方面在运行过程中，展开函数最终报错无法运行。

06）IP库作为资源

tunnel拉去数据较慢，所以将IP库信息切分为3个文件，上传到Odps中作为资源，下发给每个实例，省去tunnel资源

结论：目前正在测试中。。。

三、集思广益

如果各位大大有什么好的思路和见解，欢迎在评论区讨论哈~~~不胜感激Thanks♪(･ω･)ﾉ

数仓建设之IP库的匹配相关推荐

制造业数字原生的OT数仓建设
关键词:OT数仓工业物联网智能工厂时序库数据采集数字化转型 IT/OT融合从技术演化的视角来看,工业互联网发展的核心在于OT技术(控制技术)与IT技术(信息技术)的融合.如果把时间 ...
大数据架构详解_【数据如何驱动增长】（3）大数据背景下的数仓建设 amp; 数据分层架构设计...
背景了解数据仓库.数据流架构的搭建原理对于合格的数据分析师或者数据科学家来说是一项必不可少的能力.它不仅能够帮助分析人员更高效的开展分析任务,帮助公司或者业务线搭建一套高效的数据处理架构,更是能够从 ...
数仓建设保姆级教程，离线和实时理论+实战)
文档大纲: 一.数仓基本概念 1. 数据仓库架构我们在谈数仓之前,为了让大家有直观的认识,先来谈数仓架构,"架构"是什么?这个问题从来就没有一个准确的答案.这里我们引用一段话:在 ...
数仓建设（离线和实时）
文档大纲: 一.数仓基本概念 1. 数据仓库架构我们在谈数仓之前,为了让大家有直观的认识,先来谈数仓架构,"架构"是什么?这个问题从来就没有一个准确的答案.这里我们引用一段话:在 ...
数仓建设保姆级教程，离线和实时一网打尽(理论+实战)
本文大纲: 因内容较多,带目录的PDF查看是比较方便的,点击下方链接获取完整PDF版: 数仓建设保姆级教程PDF文档一.数仓基本概念 1. 数据仓库架构我们在谈数仓之前,为了让大家有直观的认识,先 ...
50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 下
文档大纲: 本文上半部分之前已经发过了,传送门:50000字,数仓建设保姆级教程,离线和实时一网打尽(理论+实战) 上此篇文章是整个文档的下半部分,将接着上半部分从第五章开始. 五.实时数仓建设核心 ...
50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 上
文档大纲: 一.数仓基本概念 1. 数据仓库架构我们在谈数仓之前,为了让大家有直观的认识,先来谈数仓架构,"架构"是什么?这个问题从来就没有一个准确的答案.这里我们引用一段话:在 ...
新东方基于Hologres实时离线一体化数仓建设实践
业务介绍新东方教育科技集团定位于以学生全面成长为核心,以科技为驱动力的综合性教育集团.集团由1993年成立的北京新东方学校发展壮大而来,拥有短期培训系统.基础教育系统.文化传播系统等业务. 在互 ...
OneData建设探索之路：SaaS收银运营数仓建设
以下文章来源于美团技术团队 ,作者禄平周成黄浪在现有大数据平台的基础上,借鉴业界成熟OneData方法论,构建合理的数据体系架构.数据规范.模型标准和开发模式,以保障数据快速支撑不断变化的业务并 ...

数仓建设之IP库的匹配

数仓建设之IP库的匹配

一、业务前提

二、解决过程

01）增加运行资源

02）通过增加切分块大小，减少实例数

03）明细表和ip库通过join方式

04）mapjoin内存方式

05）将IP库展开，进行等式join

①将IP库信息的每一条数据进行展开如下

②展开后，每个IP地址都对应一条国家省份城市信息，这样就可以避免范围匹配

③使用join等式连接

06）IP库作为资源

三、集思广益

数仓建设之IP库的匹配相关推荐

最新文章

热门文章