Byte学堂：手机信令大数据格式及应用价值
一、什么是手机信令大数据
手机信令是手机用户与发射基站或者微站之间的通信数据，只要手机一开机，并且手机屏幕上显示出运营商（中国移动、中国联通、中国电信）字样，信令数据就开始产生了。之后当你使用手机拨打接听电话、发送接受短信、上网浏览网页等所有通讯行为，都会和手机附近的基站发送通信关系，由于通信基站的位置是固定且已知的，基站的位置信息就反映了用户的位置，因此手机信令数据字段中始终带有时间和位置等信息。
从手机信令数据的来源来分类，可将手机信令大数据划分成三类，即话单数据、PS域信令数据和CS域信令数据。其中，话单数据信令是三个分类中最少的一类，只有当用户拨打或接听电话、发送或接收短信时才可以触发信令；CS域信令则是指BSC（基站）切换、位置更新、开关机和位置区切换等信令；而PS域信令增添了上网信令，受智能手机与4G网络的影响，通过手机上网的人数逐步增多， PS域的数据量大幅度增长。不管是何种手机信令数据，其原始数据的基本格式都包含手机IMSI号、时间戳、位置区编号、事件类型等几个字段。
据统计，目前约85%的人拥有并使用手机，且手机用户的业务频繁，包含电话业务、短信业务、上网业务、位置更新业务等等，大量的用户和高频的通讯行为产生了海量的手机数据，一个百万人口级别的城市一天产生的信令数据条数约为3-5亿条，这些信息是海量的，无法用人工进行识别和分析。过去，对于运营商来说，这些历史大数据除了保存和销毁，没有其他作用,而今天，越来越多的移动运营商将这些数据提供给研究人员，让原本沉睡的数据发挥巨大作用。
二、 手机信令大数据有什么用
手机信令大数据如此受追捧？那是因为与传统数据相比，它在某些方面有不可替代的优势，传统数据，比如统计局的人口数据，铁路部门公布的年运输量数据等，大多是基于统计的数据，几乎是静态的，而且某些传统数据受限于数据获取方式，仅能是抽样数据，另外，通常获取数据需要耗费大量人力物力。相对传统数据，手机信令大数据几乎是全样本的，而且是随时随地的动态获取。而且，相对于传统数据，手机信令大数据获取的成本很低廉。手机信令数据是基于人的数据，总结起来，主要要一些作用：
1.区域人口和岗位数量的推算
一直以来，城市人口和岗位总量数据均出自与统计局、民政局、公安局等几个部门，受限于数据获取方式和统计方法，这些数据只能按年度更新。且由于城市化过程中，人员流动日益频繁，传统的数据口径已经不能满足动态化的人口变化跟踪需求。而由于手机的普及率极高使得通过手机信令手机反推人口总量规模成为可能。
基于手机信令的人口推算通常是根据3个月或者半年的数据得到，通过对用户长时间追踪，判别居民的逗留地点，分析该用户是否属于某城市的常驻居民，进而统计出城市的常驻人口。
更进一步的，可以通过工作及居家时段产生活跃次数最大的稳定点判断岗位人口和居住人口。通常假设9:00-18:00为居民最可能的工作时段，将20:00-次日8:00假设为可能的居家时段，基于该假设便可以确定工作时段出现可能性最大的地点为该用户的工作地，同时确定居家时段出现可能性最大的地点为该用户的居住地。以此推算所得人口定义为居住人口。
2.城市人口时空分布
城市人口在不同时间、不同空间的分布是完全不同的，可以用手机信令数据分析，清楚地了解城市人群的分布现状，通过对同一手机位置的长期跟踪，可判断出手机用户的居住地和工作岗位位置，从而得到城市规划最为关心的城市人口和岗位分布情况。
3.出行OD分析
客流OD分析是交通规划最基础的数据，手机大数据发挥了大样本、客观性、连续性的优点，同时可以将交通小区细分到0.5～1平方公里的面积、分别获得工作日、周末等不同日期不同时间段不同人群的全市客流OD分析，为现代城市交通规划提供了更为详尽的OD数据分析。
4.用户画像
所谓用户画像，是指单个用户所有信息标签的集合，即通过收集与分析用户的人口属性、社会交往、行为偏好等主要信息，将用户所有的标签综合起来，勾勒出该用户的整体特征与轮廓。在互联网经济条件下，满足消费者个性化需求成为运营商差异化竞争的主要手段，用户画像可以较为精准地发现客户类型，实现“数据驱动业务与运营”的重要助力。
当然，手机信令数据可挖掘的信息远不止这些，大家现在看到的成果只是冰山一角。还有很多有价值的东西值得探索和挖掘。
三、 手机数据的处理方法和流程
手机信令原始大数据需要经过一系列的模型处理方可转变成能够对行业应用有意义的指标。结合已有经验，手机信令大数据基本的处理流程为：数据预处理-基站小区定位-出行链识别-分区统计-结果扩样。
第一步数据预处理。条件确立后，逐一筛选记录，随后提出唯一且难以识别的IMSI号、无法定位等异常记录，然后便获得与条件相符的信令大数据样本。此外还需一一评价数据空间缺失、数据连续性等情况。
第二步基站小区定位。根据手机提供的服务基站位置，将手机当前处于的基站位置确定出来，主要采用单个基站小区所在服务范围内的精度来确定。诸如：若为城区基站，基站密度较大，且服务半径较小，因而其定位精度控制在300-500m以内；若为郊区，基站密度较小，服务半径较大，则精度控制在500-2000m以内。
第三步出行链识别。根据时间来提取用户信令数据，进而便能获得各用户手机的全天候移动轨迹，紧接着便能将出行链识别模型构建出来，在这一模型中可以把手机移动轨迹划分成若干个连续出行点，进而便能识别出每次用户出行的起始点和停留点。
第四步分区统计。首先按需划分空间分析单元，以此获得能够被用来统计和分析的交通分区，随后建立起交通分区和基站小区间的对应关系，然后根据交通分区要求来对用户出行记录进行相应的汇总统计，进而便能获得基于交通分区背景下的出行记录。
第五步结果扩样。虽然当前的手机信令样本量非常庞大，但是依然无法在同一时段内获取到三家运营商数据，加之获得的一些数据为无效数据，针对此，为了剔除无效数据，确保手机信令样本有效性，便要求实施扩样处理。在具体的扩样操作中，需对居民手机保有量、有效样本筛选量、空间分布和运营商市场占额等内容进行考虑。此外还可以在社会经济调查报告、人口普查数据和岗位调查数据等资料借鉴下，对扩样结果的准确性进行校验处理。
为了让大家更加方便的使用手机信令数据，我们工作室开发了大数据自动化处理平台，通过部署hadoop分布式服务器集群，利用专业的大数据处理算法，构建了一键式、企业级的大数据处理平台，快速响应用户的大数据需求。
平台网站：https://www.yunshudu.com
意见反馈：3611336893@qq.com
了解更多大数据知识，欢迎关注Byte学堂：（微信号：Hold_on456）
Byte学堂：手机信令大数据格式及应用价值相关推荐
- 【比特大数据】第一辑：手机信令大数据格式及应用价值
[比特大数据]第一辑:手机信令大数据格式及应用价值 一.什么是手机信令大数据 手机信令是手机用户与发射基站或者微站之间的通信数据,只要手机一开机,并且手机屏幕上显示出运营商(中国移动.中国联通.中国电 ...
- 手机信令数据、大数据--自己做的小东西，纪念一下
之前在做个什么外包的比赛,给的是一部分手机信令数据,让挖掘价值. 一队人都很菜(包括我),做来做去什么也不会,还是基于前端的展示. 最后,没时间了,自己凑乎学了一点前端做了下,很多想法还没来得及实现, ...
- 基于手机信令数据的数据清洗和出行方式识别
数据来自2020年第十一届服务外包创新大赛A06赛题. 数据清洗 与定位误差不超过10米.时间采样均匀的GPS数据相比,手机信令数据的精确度较低且时间间隔不均匀,因此更需要对其进行数据清洗,下面对手机 ...
- 手机信令数据怎么获得_手机信令数据辅助下的张江科学城职住分析及对策 | 上海城市规划...
基于对张江科学城及周边区域的手机信令数据的分析,发现张江科学城的职住问题较为突出,尤其是科学城北部轨道交通2号线沿线等区域,每日有超过40%的人员需跨区域通勤出行,极大加剧了周边部分道路的常发性拥堵. ...
- Byte学堂：共享单车数据处理原理及分析方法
公共交通工具的"最后一公里"是城市居民出行采用公共交通出行的主要障碍,也是建设绿色城市.低碳城市过程中面临的主要挑战. 共享单车(自行车)企业通过在校园.地铁站点. ...
- 手机信令数据怎么获得_论文推荐 | 基于手机信令数据的大规模通勤模式研究（2020-12-01）...
交通攻城狮,2020-12-01,第 76 期 1. 推荐论文基本信息 论文信息 今天推荐的论文源自期刊<Journal of Transport Geography>2020 年 12 ...
- 基于手机信令数据研究交通出行特征具体实现
这学期期末智慧交通大作业,我选择使用手机信令数据研究人类交通出行特征,期间我也查阅了许多资料,但绝大多数帖子只有手机信令数据的应用方向,没有具体实现做法.经过一两周的探索,我大概根据数据和应用方向实现 ...
- 【金猿技术展】SSNG多源数据处理技术——运营商手机信令处理系统及平台
联通智慧足迹技术 本项目由联通智慧足迹投递并参与"数据猿年度金猿策划活动--2021大数据产业创新技术突破榜单及奖项"评选. 数据智能产业创新服务媒体 --聚焦数智 · 改变商业 ...
- 【前沿进展】基于手机信令数据的交通出行特征研究
文章目录 0 概述 1 手机信令数据预处理 2 手机信令数据分析应用 2.1 停留点识别 2.2 职住地分析 2.3 出行方式识别 2.4 交通小区划分 2.5 公交特征分析 2.6 人车轨迹关联 3 ...
最新文章
- 从键盘输入10个互不相同的整数，找出其中最小的元素将其与数组中的第一个元素进行交换。
- 负荷计算的时候assert失败_负荷计算的入门基础知识，小白入门必备！
- 用Js的eval解析JSON中的注意点
- springboot配置servlet容器的两种途径：配置文件及编码方式
- mysql 选择插入语句_带有last_insert_id()的Mysql多行插入 – 选择语句
- Android官方开发文档Training系列课程中文版：动画视图之转场框架介绍
- 开发过程中任何一个时刻，只关注解决当前面临的问题。
- 倒计时小工具_想要工作效率更高？这几款计时工具你一定不能错过！
- mfc ctabctrl 双排显示_盐城便宜的开口型双排脚手架生产厂家-斯戴博盘扣脚手架...
- mysql php 封装类_PHP递归实现层级树状展开的方法
- QT_UDP传输小结
- python网络编程linux清华_Python网络编程篇之socket
- Facebook 又摊上事了，数亿用户被波及！
- 基于VS快速排序的单元测试
- HTML转义字符表的使用
- SPSS26版本软件超详细安装指导+内附安装资源
- 第十九篇 -- 学习第十八天打卡20190708
- [水晶报表]如何设置水晶报表(crystal reports)的字段自动换行
- 卷积神经网络的可视化（基于keras）
- 五个好用的网络协议分析工具（附下载地址）