pd.to_datetime我吹爆！太强了

最近发现pd.to_datetime函数可以自动推断日期格式，而且不同格式的日期时间可以同批次处理。如下：

In [5]: df
Out[5]: 0  1
0  2019-1-3 19:00:23  1
1  2019/1/2 19:00:22  2
2           2019-1-1  3
3             2019-2  4
4     2019-1-2 19:00  5
In [8]: df['e']=pd.to_datetime(df[0])In [9]: df['e']
Out[9]:
0   2019-01-03 19:00:23
1   2019-01-02 19:00:22
2   2019-01-01 00:00:00
3   2019-02-01 00:00:00
4   2019-01-02 19:00:00
Name: e, dtype: datetime64[ns]

后来发现在读取文件的时候即指定解析日期方法与读取之后再解析，两者时间相差一倍。如下所示：

读取时即解析日期

%timeit pd.read_csv(r'D:\桌面快捷方式\滴滴\出租车数据\taxi_shanghai\02\{}.csv'.format(hour),parse_dates=['数据接收时间','终端GPS时间'],date_parser=pd.to_datetime).drop(columns='Unnamed: 0').dropna()
# 17s

读取之后再解析

df = pd.read_csv(r'D:\桌面快捷方式\滴滴\出租车数据\taxi_shanghai\02\{}.csv'.format(hour),).drop(columns='Unnamed: 0').dropna()df['rectime'] = pd.to_datetime(df['数据接收时间'])df['gpstime'] = pd.to_datetime(df['终端GPS时间'])
# 8s

推测是因为，读取文件时解析日期是边读边解析，时间是O(n)，单独解析时可能采用某种空间换时间的方式把时间复杂度降低了。

pd.to_datetime我吹爆！太强了相关推荐

图片还原去遮挡_斗罗：这届coser太强，动画刚播出两天，战损三哥就被还原了...
斗罗大陆作为玄机旗下的热门动画,不仅多次登上热搜,引发漫迷热议,还吸引了众位coser的注意力.作品从开播到现在,基本上绝大多数角色都曾被coser还原过. 对于里面的热门角色,例如史莱克七怪,几乎是 ...
给自己：得失心莫太重，功利心莫太强
得失心莫太重得失性重,意味着情绪会非常影响你的注意力,很多事情你难以专注的投入,对于事情的完成无疑是不好的.而且,你可能不知道自己到底喜欢什么,不喜欢什么,因为外在的评价标准对你的影响太大. 功利心 ...
Pandas-时间（二）-数据类型：DatetimeIndex（其中每个元素的类型为：Timestamp）【创建方式：①pd.DatetimeIndex([])；②pd.to_datetime()】
一.pd.DatetimeIndex():直接创建 import pandas as pd from datetime import datetime# pd.DatetimeIndex()# 直接生 ...
英伟达的这款GPU太强了！
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达今年 3 月 21 日 - 24 日举办的 NVIDIA GTC 2022 大会可谓是亮点十足.NVIDIA ...
python的时间转换datetime和pd.to_datetime
我们在python对数据进行操作时,经常会选取某一时间段的数据进行分析.这里为大家介绍两个我经常用到的用来选取某一时间段数据的函数:datetime( )和pd.to_datetime( ). ...
java 日历工具_【Java】太强了，这款开源日历工具库堪称神器！
首页专栏 javascript 文章详情 0 太强了,这款开源日历工具库堪称神器! Github导航站发布于今天 02:03 大家好,我是为广大程序员兄弟操碎了心的小编,每天推荐一个小工具/源码, ...
本科毕业5年后入职985高校担任博导，这位小姐姐太强了！
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达本文转载自:募格学术 | 参考资料来源:AdvancedScienceNews.福布斯中国.浙江大学薛晶晶教 ...
python做公众号赚钱_太强了！做副业月入3W的大佬公众号，值得了解
原标题:太强了!做副业月入3W的大佬公众号,值得了解生活原本沉闷,但跑起来就有风. 趁这个时间给大家推荐几个我日常学习的公众号朋友,他们都在书写属于自己的故事,相信你肯定会像我一样有收获的. 大飞码 ...
python中pd是什么意思_python中时间转换datetime和pd.to_datetime详析
前言我们在python对数据进行操作时,经常会选取某一时间段的数据进行分析.这里为大家介绍两个我经常用到的用来选取某一时间段数据的函数:datetime( )和pd.to_datetime( ). ...

pd.to_datetime我吹爆！太强了

pd.to_datetime我吹爆！太强了相关推荐

最新文章

热门文章