Hive进行身份证合法性校验

身份证号码格式校验是很多系统在数据集成时的一个常见需求，我们以18位身份证为例，使用一个Hive查询实现身份证号码的合法性验证。该查询结果是所有不合规的身份证号码。按以下身份证号码的定义规则建立查询。

身份证18位分别代表的含义，从左到右方分别表示：

1-2 省级行政区代码。
3-4 地级行政区划分代码。
5-6 县区行政区分代码。
7-10 11-12 13-14 出生年、月、日。
15-17 顺序码，同一地区同年、同月、同日出生人的编号，奇数是男性，偶数是女性。
18 校验码，如果是0-9则用0-9表示，如果是10则用X（罗马数字10）表示。

身份证校验码的计算方法：

将前面的身份证号码17位数分别乘以不同的系数。从第一位到第十七位的系数分别为：7－9－10－5－8－4－2－1－6－3－7－9－10－5－8－4－2。
将这17位数字和系数相乘的结果相加。
用加出来和除以11，看余数是多少。
余数只可能有0－1－2－3－4－5－6－7－8－9－10这11个数字。其分别对应的最后一位身份证的号码为1－0－X －9－8－7－6－5－4－3－2。

假设字段t.idcard存储身份证号码，Hive查询语句如下：

-- Hive 18位身份证号码验证
select * from
(select trim(upper(idcard)) idcard from t) t1where -- 号码位数不正确length(idcard) <> 18 -- 省份代码不正确or substr(idcard,1,2) not in ('11','12','13','14','15','21','22','23','31','32','33','34','35','36','37','41','42','43','44','45','46','50','51','52','53','54','61','62','63','64','65','71','81','82','91') -- 身份证号码的正则表达式判断or (if(pmod(cast(substr(idcard, 7, 4) as int),400) = 0 or(pmod(cast(substr(idcard, 7, 4) as int),100) <> 0 and pmod(cast(substr(idcard, 7, 4) as int),4) = 0), -- 闰年 if(idcard regexp '^[1-9][0-9]{5}19[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|[1-2][0-9]))[0-9]{3}[0-9X]$',1,0),if(idcard regexp '^[1-9][0-9]{5}19[0-9]{2}((01|03|05|07|08|10|12)(0[1-9]|[1-2][0-9]|3[0-1])|(04|06|09|11)(0[1-9]|[1-2][0-9]|30)|02(0[1-9]|1[0-9]|2[0-8]))[0-9]{3}[0-9X]$',1,0))) = 0-- 校验位不正确or substr('10X98765432',pmod((cast(substr(idcard,1,1) as int)+cast(substr(idcard,11,1) as int))*7
+(cast(substr(idcard,2,1) as int)+cast(substr(idcard,12,1) as int))*9
+(cast(substr(idcard,3,1) as int)+cast(substr(idcard,13,1) as int))*10
+(cast(substr(idcard,4,1) as int)+cast(substr(idcard,14,1) as int))*5
+(cast(substr(idcard,5,1) as int)+cast(substr(idcard,15,1) as int))*8
+(cast(substr(idcard,6,1) as int)+cast(substr(idcard,16,1) as int))*4
+(cast(substr(idcard,7,1) as int)+cast(substr(idcard,17,1) as int))*2
+cast(substr(idcard, 8,1) as int)*1
+cast(substr(idcard, 9,1) as int)*6
+cast(substr(idcard,10,1) as int)*3,11)+1,1)
<> cast(substr(idcard,18,1) as int);

这条查询语句虽然有些复杂，但条理还是比较清楚的。子查询将字符串转为大写，并去掉左右两边的空格，外层查询的where条件筛选出四种不符合规则的身份证号码。首先判断号码长度和省份代码，然后利用Hive的正则表达式匹配函数对整个号码做逐位判断，最后检查校验位是否正确。各种违规条件之间使用or逻辑运算符，前面的条件一旦满足即可返回数据行，而不会再继续判断后面的条件。

Hive进行身份证合法性校验相关推荐

身份证合法性校验规则
身份证构成说明: 身份证号构成(从左到右): 第1-6位数是行政区域编码第7到第14位是出生日期第15-17位是同一天出生的顺序号(男的用奇数数,女的用偶数) 第18位是校验码,根据ISO7064 ...
java 代码实现身份证合法性校验(全国所有地方)
很多地方可能都会用到对身份证要进行判断校验的功能,这个是之前在网上看到的,具体的网址都忘了,现在项目完成了,有时间把其整理下,方便自己和大家日后使用!(直接复制粘贴即可) package org.as ...
java身份证工具类，身份证合法性校验，根据身份证获取生日、年龄、性别
import java.text.DateFormat; import java.text.SimpleDateFormat; import java.util.*; /** * 身份证号码校验工具 ...
vue中如何进行身份证合法性校验（身份证18位，包含最后一位数字/字母）
文章目录前言正文 1. 首先,根据实际情况,目前我们使用的身份证由18位构成,包括数字和字母X.那么,在input输入框中就需要限制用户输入的数据类型. 2.其次,查看Element ui 组件库 ...
JS身份证合法性校验完全版
<script>//身份证号合法性验证//支持18位身份证号//支持地址编码.出生日期.校验位验证function IdentityCodeValid(code) {var city = ...
在java中如何做身份证号码校验
https://blog.csdn.net/persistencegoing/article/details/84376427 直接上代码,里面有测试类 /*** 身份证前6位[ABCDEF]为行政区 ...
身份证号码的合法性校验
javascript版本的身份证号码的合法性校验 /** * 检验身份证号码 * 15位:ddddddyymmddxxp * 18位:ddddddyyyymmddxxxy * @param card ...
使用Java编写Hive的UDF实现身份证号码校验及15位升级18位
使用Java编写Hive的UDF实现身份证号码校验及15位升级18位背景在数仓项目中,有时候会根据身份证信息做一些取数filter或者条件判断的相关运算进而获取到所需的信息.古人是用Oracle做 ...
Java校验身份证合法性（通过火车票上显示的号码计算身份证号）
今天看到CSDN推送的消息<我用 Python 算出了同事的身份证号码>自己也想用Java写一个! 当然稍稍改一下就能做身份证合法校验! 下面贴代码! package test;impor ...

Hive进行身份证合法性校验

Hive进行身份证合法性校验相关推荐

最新文章

热门文章