基于Spark的移动用户主要活动地点的挖掘算法实现以及JavaEE技术整合
本算法基于Spark计算引擎,能够从海量的手机基站数据中挖据出用户的主要活动地点,比如工作地点和居住地点。实现好挖掘算法之后,通过JavaEE来整合上面的算法,让用户能够通过简单的Web UI就能够操作使用该算法,同时为用户提供了可视化数据的功能。
1、移动用户主要活动地点挖掘算法
1.1 算法输入数据字段:
字段名称 | 说明 | 例子 |
---|---|---|
phoneNo | 手机号码,唯一标志一个用户 | DEF2B5CA38FF9699732B65BA3941DBA2 |
time | 用户连接基站的时间 | 20160923032356 |
longitude | 经度 | 113.4138 |
latitude | 纬度 | 23.1205 |
算法数据是以CSV格式保存,只要csv数据中包含上面的四个字段就可以作为本算法的输入数据集。
1.2 手机基站数据的特点:
优点:
1)、获取成本低
2)、数据量多
3)、覆盖人群广
4)、轨迹数据联系
缺点:
1)、数据不准确:手机基站的日志信息里面包含移动用户的经纬度数据
基于Spark的移动用户主要活动地点的挖掘算法实现以及JavaEE技术整合相关推荐
- 【Spark】基于Spark的大型电商网站交互式行为分析系统项目实战
1.项目背景 (1)Spark在美团的实践 美团是数据驱动的互联网服务,用户每天在美团上的点击.浏览.下单支付行为都会产生海量的日志,这些日志数据将被汇总处理.分析.挖掘与学习,为美团的各种推荐.搜索 ...
- 【WSN通信】基于最佳簇半径的无线传感器网络分簇路由算法附matlab代码
1 内容介绍 无线传感器网络(WirelessSensorNetwork,WSN)是由若干个分布在被监控范围内的传感器节点构成的网络,这些节点以随机或者确定位置分布的形式布置在被监测范围内,可以收集温 ...
- 图像scale与相机参数_基于Ladybug全景相机图像的360度全方位测距算法
基于Ladybug全景相机图像的360度全方位测距算法 [专利摘要]本发明公开了一种基于Ladybug全景相机图像的360度全方位测距算法,它涉及计算机视觉领域中的图像测距[技术领域].其方法步骤:读 ...
- 基于最佳簇半径的无线传感器网络分簇路由算法
文章目录 一.理论基础 1.能耗模型 2.基于最佳簇半径的分簇路由算法 (1)分簇优化 (2)簇间通信 二.仿真实验 三.参考文献 一.理论基础 1.能耗模型 本文采用一阶无线电模型作为能量消耗模型. ...
- 改进的sobel算法和色调信息的叶脉提取 c语言,基于窗口动态阈值改进Canny算子的叶脉提取算法的制作方法...
本发明涉及一种基于Canny算子的叶脉提取算法,尤其涉及一种基于窗口动态阈值改进Canny算子的叶脉提取算法,属于计算机视觉技术领域. 背景技术: 叶脉提取,是指从不同形状.摆放的叶脉图像中,利用计算 ...
- 利用用户行为数据——基于Spark平台的协同过滤实时电影推荐系统项目系列博客(二)
系列文章目录 初识推荐系统--基于Spark平台的协同过滤实时电影推荐系统项目系列博客(一) 利用用户行为数据--基于Spark平台的协同过滤实时电影推荐系统项目系列博客(二) 项目主要效果展示--基 ...
- 基于Spark的用户行为路径分析的产品化实践
1. 什么是用户行为路径 用户行为路径分析是互联网行业特有的一类数据分析方法,它主要根据每位用户在App或网站中的点击行为日志,分析用户在App或网站中各个模块的流转规律与特点,挖掘用户的访问或点击 ...
- 基于Spark的用户行为分析系统
基于Spark的用户行为分析系统源码下载 一.项目介绍 本项目主要用于互联网电商企业中使用Spark技术开发的大数据统计分析平台,对电商网站的各种用户行为(访问行为.购物行为.广告点击行为等)进行 ...
- 基于Spark的网上商城用户行为分析
基于Spark的网上商城用户行为分析 一.业务场景 二.数据集说明 三.操作步骤 阶段一.启动HDFS.Spark集群服务和zeppelin服务器 阶段二.准备案例中用到的数据集 阶段三.对数据集进行 ...
最新文章
- IBM发布全球首台商用量子计算机
- Fedora相关(一)
- 未来我们对微服务和 Serverless 架构有什么期望
- boost::coroutine2模块实现协程的测试程序
- powerdesigner12.5入门教程
- MongoDB:有人敢像我一样说出开源的真实用意吗?
- jQuery学习(五)—课堂实训题专栏
- android 文件mimetype_android文件关联之mime type
- IDEA最全使用教程
- 图像局部特征(十九)--GLOH
- 红黑树 RBTree
- widget(10、Notification)
- 为安装有系统及应用程序的服务器更换硬盘方法一例
- smb协议只能在同一网段吗_基于SMB协议的共享文件读写 博客分类: Java
- 软考 软件设计师 第五版+历年真题
- 找不到包 \ 符号,idea中包已经导入,但是运行还是提示找不到包问题
- 怎样才能胜任技术总监
- ADOBE ACROBAT XI PRO MULTI-XFORCE
- sci-hub下载不了的文献怎么下载
- 20天等待,申请终于通过,安装和体验IntelliJ IDEA新UI预览版
热门文章
- mysql多表连接 索引_MySQL多表查询之外键、表连接、子查询、索引
- PTA 基础编程题目集 7-6 混合类型数据格式化输入 C语言
- oracle 取日期 加天,oracle日期,获取年月日等函数、日期函数、时区
- java拦截到登陆界面,JavaWeb 使用Filter实现自动登录
- 是我太天真之被BUG按在地上疯狂摩擦
- PostgreSQL索引走错一例分析
- 近期笔试小结(附数据库工程师面试准备)
- mysql参数thread_cache和table_cache详解
- c++将小数化为二进制_C++版进制转换(十进制,二进制,十六进制整数和小数)
- numpy之argmax()函数