Spark- 使用第三方依赖解析IP地址

使用 github上已有的开源项目
1)git clone https://github.com/wzhe06/ipdatabase.git

2)编译下载的项目: mvn clean package- DskipTests

3)安装jar包到自己的 maven仓库

　　mvn install: install-file -Dfile=${编译的jar包路径}/target/ipdatabase-1.0-SNAPSHOT jar -DgroupId=com.ggstar -DartifactId=ipdatabase -Dversion=1.0 -Dpackaging=jar

4)添加依赖到pom

<dependency><groupId>com.ggstar<groupId><artifactId>ipdatabase</artifactId><version>1.0</version>
</dependency>

<dependency><groupId>org.apache.poi</groupId><cartifactId>poi-ooxml</artifactId><version>3.14</version>
</dependency>
<dependency><groupId>org.apache.poi</groupId> 　　<cartifactId>poi</artifactId> 　<version>3.14</version> </dependency>

5)将源码main/resource下的ipDatabase.csv和ipRegion.xlxs拷贝到当前项目的resource目录下

6)ip解析工具类

/*** IP解析工具类*/
object IpUtils {def getCity(ip:String): Unit ={IpHepler.findRegionByIp(ip)}
}

7）打包到yarn运行

在pom文件排除spark打包，因为环境上有。

<!--scala 依赖--><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>${scala.version}</version><scope>provided</scope></dependency><!--SparkSQL--><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.11</artifactId><version>${spark.version}</version><scope>provided</scope></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-hive_2.11</artifactId><version>${spark.version}</version><scope>provided</scope></dependency>

打包时注意，pom.xml中需要添加如下plugin

<plugin><artifactId>maven-assembly-plugin</artifactId><configuration><archive><mainfest><mainClass></mainClass></mainfest></archive><descriptRefs><descriptRef>jar-with-dependencies</descriptRef></descriptRefs></configuration></plugin><plugin>

提交运行

/bin/spark-submit
class com.rz.log.SparkstatcleanJobYARN
--name SparkstatcleanJobYARN
--master yarn
--executor-memory 1G
--num-executors 1\
--files /home/hadoop/Lib/ipDatabase. CSV, /home/hadoop/lib/ipRegion XlSx \
/home/hadoop/lib/sql-1.0-jar-with-dependencies.jar \
hdfs://hadoop001:8020/imooc/input/* hdfs://hadoop001: 8020/imooc/clean

转载于:https://www.cnblogs.com/RzCong/p/10612380.html

Spark- 使用第三方依赖解析IP地址相关推荐

请解析IP地址和对应的掩码，进行分类识别。要求按照A/B/C/D/E类地址归类，不合法的地址和掩码单独归类。
世界上并没有完美的程序,但是我们并不因此而沮丧,因为写程序就是一个不断追求完美的过程. 题目描述请解析IP地址和对应的掩码,进行分类识别.要求按照A/B/C/D/E类地址归类,不合法的地址和掩码单独 ...
linux运维笔记：DNS解析IP地址的过程（dns解析的原理）
linux运维笔记:DNS解析IP地址的过程(dns解析的原理 ) 1.首先:说一下dns解析的流程,大家都知道,计算机之间只能通过ip相互通信,因为ip不好记,于是才使用dns服务器把域名解析为相应 ...
Logstash数据处理服务的过滤插件GeoIP解析IP地址的地理位置
Logstash数据处理服务的过滤插件GeoIP解析IP地址的地理位置文章目录 Logstash数据处理服务的过滤插件GeoIP解析IP地址的地理位置 1.GeoIP解析IP地址的地理位置 2.安装 ...
android解析ip地址,android – 如何从IP地址解析网络主机名
我正在研究基于wifi的聊天引擎,我能够通过跟随this链接检索连接到当前wifi网络的主机列表,现在获得了具有ip地址的设备列表但我需要来自ip地址的主机名并尝试以下 InetAddress ine ...
wireshark中解析IP地址对应域名
Wireshark中给IP地址设置对应名字的方法: 勾选解析网络地址,并通过"编辑解析的名称"进行自定义设置
python 本地解析IP地址所属地区信息
1.安装库 pip install geoip2 2.下载数据资源 https://dev.maxmind.com/geoip/geoip2/geolite2/ 我们可以选择CSV格式文件,也可以选择 ...
springboot项目引用QQWry.Dat解析IP地址
引入ipseek 代码包 /*** * 封装ip相关信息,目前只有两个字段,ip所在的国家和地区*/ public class IPLocation {private String country = ...
腾讯云域名解析教程_腾讯云购买的域名如何解析IP地址
今天给大家说的建网站第一步就是注册域名,那么如果你是在腾讯云注册的域名,注册完毕后怎么解析到自己的网站服务器的IP地址呢? 本文就通过图文教程给大家介绍如何在腾讯云进行域名解析. 首先,登录腾讯云管 ...
ip地址转换数字函数 iton_DataLakeAnalytics: 解析IP地址对应的国家城市的函数
Data Lake Analytics 作为云上数据处理的枢纽,最近加入了通过IP地址查找对应的国家.省份.城市.ISP的函数, 今天带大家体验一下. 函数详细介绍本次一共添加了下面这些函数: ip ...

Spark- 使用第三方依赖解析IP地址

Spark- 使用第三方依赖解析IP地址相关推荐

最新文章

热门文章