New York City Taxi Trip Duration纽约出租车大数据探索（报告版

一、项目说明
该项目来源于Kaggle，旨在建模来预测纽约出租车在行程中的总行驶时间。
在建模预测的过程中，我们可以顺便探索纽约市民打车出行习惯及其他有效信息。
附kaggle项目链接 https://www.kaggle.com/c/nyc-taxi-trip-duration/overview

【注】CDSN博客编辑器体验不佳，本文排版格式失效且图片丢失。
如需美观及完整，敬请移步知乎专栏。链接：https://zhuanlan.zhihu.com/p/65488432

本文原定内容结构说明：
1、先参考简书帖子《纽约出租车大数据探索》完成一部分探索，帖子没有源代码，所以我会根据帖子思路，自行写出代码。帖子网址 https://www.jianshu.com/p/1da53849a314
2、按照帖子文末提出的可以进一步拓展的探索方向，自行深入探索。
3、kaggle比赛目标之预测行程持续时间，另外再开帖子叙述。本文不赘述。

本文分析的技术实现过程，已发布至个人CDNS博客，详见：
《【Python】New York City Taxi Trip Duration纽约出租车大数据探索（技术实现过程）》
https://blog.csdn.net/weixin_44216391/article/details/90115972

二、探索分析
帖子的结构为五部分：
1、提出问题— 2、理解数据— 3、数据清理— 4、数据分析— 5、得出结论
（一）、提出问题（根据已有数据分析）
（1）何时为打车需求高发期？
（2）居民夜生活活跃情况？
（3）城市一天的什么时候最为拥堵？
（4）什么时间容易接到长途单？
（二）、理解数据（表单说明）
id - 每次行程的唯一ID
vendor_id - 行程提供者的ID
pickup_datetime - 上车的日期和时间
dropoff_datetime - 停表的日期和时间
passenger_count - 车辆中的乘客数量（驾驶员输入值）
pickup_longitude - 上车的经度
pickup_latitude - 上车的纬度
dropoff_longitude - 下车经度
dropoff_latitude - 下车的纬度
store_and_fwd_flag - 行程记录是否为存储转发（或是直接发送）-- Y =存储和转发 N =没有存储
trip_duration - 行程持续时间（秒）
（三）、数据清理
详见对应的技术实现帖子：
《【Python】New York City Taxi Trip Duration纽约出租车大数据探索（技术实现过程）》
https://blog.csdn.net/weixin_44216391/article/details/90115972
基本确定，数据比较完整。看Kaggle官网也说了，因为是playground项目，所以已经把数据cleaned了。
（四）、数据分析与可视化
（1）何时为打车需求高发期？
（2）居民夜生活活跃情况？
（3）城市一天的什么时候最为拥堵？
（4）什么时间容易接到长途单？
分析一：何时为打车需求高发期？
分析所需数据维度：新增月标识、周标识、日标识、时间点标识（详见技术帖）
分析所用到的工具：seaborn可视化、map/apply函数、datetime、lambda、groupby、reset_index()、rename、plt.subplot、sns.swarmplot、sns.boxplot、sns.stripplot等。
1、整体趋势分析
见下图：
从趋势来说，2016年1~6月整体打车时长一直呈增长状态，可能用户逐渐习惯了更远距离也打车，也可能是，路面行驶的车辆越来越多或天气不好引发交通拥塞。
其中，3月-5月订单数量属于六个月中最高的三个月，但是整体下降趋势。1月下旬和5月底有异常点，这两天打车人数特别少，可能是当天发生了什么重大事故，或者是重大节日不出行。
从日折线图来看，忽略23号和31号两个异常点，整体订单数量随日期变化呈现规律波动，看似周期为7天（一个星期），据此推测订单数量可能与星期几有关。

2、分析异常值
从图"Date Trip Time"可以定义异常值临界点为6000，将低于6000的异常值筛选出来。找出异常的日期是1月23日，1月24日，5月30日。

分析其原因。根据当日美国新闻：
(1)美遭暴风雪袭击纽约时报广场飞雪飘零_网易新闻
2016-1-24 · 当地时间2016年1月23日，美国纽约，美国遭遇暴雪天气，暴雪中的时报广场。
(2)阵亡将士纪念日 (5月的最后一个星期一)
中新网5月30日电据美媒报道，美国迎来“国殇日”长周末，标志着夏季的正式开始。

3、分析订单数量可能和星期几有关
（1）下图分别为各月1-31日订单总量与乘车人数

两张图展示了在2016年1月1日至2016年6月30日这半年内，六个月1~31日的每日订单总量、每日平均乘车人数随日期的波动。
两张图（每日订单数量/乘车次数与日平均乘车人数）的趋势惊人地一致。这说明在周期的某一阶段，不仅订单数量增多，而且人们偏向于结伴出行。

（2）下图为周一至周日打车次数/订单数量

明显周日周一打车次数最低，周五至周六打车次数最高。可能周四至周六市民出行意愿更高。
另外发现,周日打车次数/订单数量在100-300区间内明显比周一至周六多，这里可能蕴含一些信息，待挖掘。

（3）下图为周一至周日乘车人数
可见，周六周日拼车人数较多。

4、分析订单数量可能和当日哪个时间点有关
（1）当日内0点至24点乘车次数/订单数量

1）全天候分析：
凌晨一点开始至凌晨五点，订单数量急剧下降，符合人群休息规律。
从早6点开始，订单量由谷底回升，早7点至早9点有一个早高峰。
在早8点到下午5点之间有轻微波动不明显。早10点和下午4点均有一个轻微的走低点。
原因推测：
① 市民上班的出行需求被公共交通、私家车等分担，不会偏好于出租车出行；
② 假设通勤时间1小时，则基本可确定八点至十点是上班时间小集中的时间段。（此结论与原贴不一致，甚至有轻微相反。）
③ 早八点和下午四点这两个时间点，人群在公司开会尚未外出（早）或已在出差公司开会还未散会（下午四点）。
2）晚高峰表现显著：
从晚6点开始订单量有大规模增长，约晚7点进入打车最高峰，且在23点之前的平均打车量均维持较高水平，高于白天时段。
原因推测：
① 相比于白天，市民在晚上外出活动时更偏向于出租车出行。有可能逐渐下班。
② 也猜测晚间时间家庭出行或约伴出行，下面通过乘车人数认证后发现该假设并不成立。
3）下午时段，四点左右出现订单量回落。
原因推测：①司机交班；②道路拥堵；③出差人群在出差公司开会还未散会下班。

（2）当日内0点至24点乘车人数
前面猜测晚间时间家庭出行或约伴出行，这里乘车人数在晚间并无明显变化，故前面猜测不成立。
反而发现凌晨2点至5点订单乘车人数较为分散，既有较多人（约伴），也有较少人（单人）的情况。
早5点-8点之间，每个订单乘车人数全日最低（boxplot比较清晰，stripplot没那么清晰，下图是stripplot），恰好又是上班时间，预计是单人上班打车情况较多。

（3）当日内0点至24点打车行程时间分布
一开始发现三个异常值干扰观察，尝试增加boxplot函数中参数y的重新赋值来忽略异常值（week_avg_trip_dur>8000）。——下图为已修正三个异常值。

白天早9点至下午5点，行车时间较长，据此可以推测白天这个时间段道路较为拥塞。
凌晨2点至5点，基本可以排除拥塞影响，行程时间长短可近似等同于距离长短。且分布在箱盒之外的长行车时间较多，据此推测：凌晨2点至5点这个时间段接到长距离行程单的机会比其他时间段多很多。

分析二：居民夜生活活跃情况？

订单数量在晚8点至凌晨1点均维持较高水平，从凌晨1点开始，订单量断崖式下跌，这一下跌持续到约早5点，早5点是一天内订单量最低的时刻。
说明纽约市民夜生活活跃情况：
（1）第一种可能：下午/晚上下班后约伴交友灯红酒绿夜夜笙歌，至凌晨1点方歇。
（2）当然，也有第二种可能是：晚晚加班。白天会议下午法定下班时间后，才是晚间工作的开始，然后陆陆续续持续到凌晨十二点/一点。
从国情看，纽约的第一种可能性高一些；而第二种则在中国一线城市发生的概率比率高一些。

分析三：城市的一天什么时候最为拥堵？

第一个思路（如下图）：

从前面分析第一部分的“当日内0点至24点打车行程时间分布”初步推测：
白天早9点至下午5点，行车时间较长，据此可以推测白天这个时间段道路较为拥塞。
第二个思路（待挖掘）：
先通过上下车地点经纬度计算行程距离，再用行程距离/行程时间得出行车均速。行程均速可体现道路畅通拥堵程度。
该思路方法暂时搁置，容后看情况再补充。

分析四：什么时间容易接到长途单?

接单时间和订单行程时间/路程距离是否有关系呢？接下来进入分析。
前面已经绘出一日内0点至24点的平均行程时间，我们这里重新引用：

凌晨2点至5点，基本可以排除拥塞影响，行程时间长短可近似等同于距离长短。且分布在箱盒之外的长行车时间较多，据此推测：凌晨2点至5点这个时间段接到长距离行程单的机会比其他时间段多很多。

（五）数据探索结论
定位出租车司机最佳pickup时点为早7点至早9点及晚6点至晚12点。如需长途订单，可养足精神在凌晨接单。

三、总结
分析到此告一段落。当然，虽然数据量不多，但是还可以挖掘更细致的城市出行行为等信息。例如，
可以分析哪些时段的哪些区域更容易发生订单，人群一般从哪些地方去往哪些地方——这对出租调度来说是个有效数据。
从暴雪带来的异常值可以推测，天气与订单量是有密切关系的，根据日期对应天气数据，可以进一步分析天气与订单量的影响。
结合位置数据，还可以分析哪些区域受天气的影响较大，等等。
————————————————
版权声明：本文为CSDN博主「SophiaSSSSS」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_44216391/article/details/90142114

New York City Taxi Trip Duration纽约出租车大数据探索（报告版相关推荐

【Python】New York City Taxi Trip Duration纽约出租车大数据探索（技术实现过程）
# New York City Taxi Trip Duration纽约出租车大数据探索 # 该项目来源于Kaggle,旨在建模来预测纽约出租车在行程中的总行驶时间. # 在建模预测的过程中,我们可以 ...
纽约出租车大数据探索
本文旨在探索纽约城市市民的打车出行习惯,通过对145万余条数据的定量分析,针对提出的问题相应地得出了些许结论.并在文末分析了日后可以进一步拓展的探索方向. 数据来自于kaggle,选用train.cs ...
Dataset：New York City Taxi Fare Prediction纽约市出租车票价预测数据集的简介、下载、使用方法之详细攻略
Dataset:New York City Taxi Fare Prediction纽约市出租车票价预测数据集的简介.下载.使用方法之详细攻略目录 New York City Taxi Fare P ...
美国纽约市出租车大数据探索-基于kaggle比赛
1.背景介绍出租车多按里程或时间收费,但进入21世纪,电话预约叫车量逐年增加.每天早晚高峰.雨雪等恶劣天气以及长假的某些时段,各大出租汽车调度中心的预约叫车业务供不应求.随着出租车业务的不断提升,相 ...
kaggle项目：纽约出租车行程时间NYC Taxi Trip Duration
kaggle项目:纽约出租车行程时间NYC Taxi Trip Duration 1. 项目简介 1.1 数据说明 1.2 相关数据集 2. 数据读取 2.1 读取数据集 2.2 读取节假日数据 2. ...
转：大数据处理与开发课程设计——纽约出租车大数据分析
大数据处理与开发课程设计--纽约出租车大数据分析_LHR13的博客-CSDN博客_出租车大数据分析一.设计目的综合应用所学的Hadoop/Spark/Storm/Mongdb等技术,设 ...
Flink入门训练--以New York City Taxi为例
最近在学Flink,准备用Flink搭建一个实时的推荐系统.找到一个好的网站(也算作是flink创始者的官方网站),上面有关于Flink的上手教程,用来练练手,熟悉熟悉,下文仅仅是我的笔记. 1. 数 ...
Transbigdata——交通出租车大数据可视化分析，以成都市为例
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.数据集二.操作步骤 1.引入库 2.读入数据 3.数据预处理 4.数据栅格化处理 5.可视化分析总结存在的问 ...
Mysql出租车轨迹的分析_一种基于出租车轨迹数据的交通出行共现现象的可视化分析方法与流程...
本发明涉及交通数据可视化领域,尤其涉及一种基于出租车轨迹数据的交通出行共现现象的可视化分析方法. 背景技术: :城市中人类移动规律中的共现现象是指来自两个区域的人们在同一个时间段内访问同一个城市区域. ...

New York City Taxi Trip Duration纽约出租车大数据探索（报告版

New York City Taxi Trip Duration纽约出租车大数据探索（报告版相关推荐

最新文章

热门文章