我的数据有两个日期字段,但在数千万行中,有些行有错误。为了速度和内存限制,我宁愿在读入数据时就将列转换为datetime,但是我似乎不能强迫进程将NaT留给无效字符串,而不是引发错误。我可以在字段中读作uint32,以便以后强制转换为datetime,但是一旦我们有了parse_dates选项,这看起来就不必要地慢了。在

示例数据如下所示。在

这种方法非常有效,因为数据的格式总是很好:pd.read_table(filename,usecols=[0,8,9,11],parse_dates=[1,2])

但是,如果某些行无法转换,则会导致dtype对象,然后后续操作中断。在

pd.read_table(filename,usecols=[0,8,9,11],parse_dates=[1,2],dtype={'LopNr': np.uint32,'INDATUMA': np.uint32,'UTDATUMA': np.uint32,'DIAGNOS': np.object}),假设数据类型将在数据进入转换器之前应用于,则在某些行中的字符串上出现问题:ValueError: invalid literal for long() with base 10: 'string'

pd.read_table(filename,usecols=[0,8,9,11],parse_dates=[1,2],dtype={'LopNr': np.uint32,'INDATUMA': 'datetime64','UTDATUMA': 'datetime64','DIAGNOS': np.object})两者都不起作用,就像TypeError: the dtype

如果我准备将字符串格式不能解析为日期的行,那么处理这种数据的有效方法是什么?在

样本数据(所有有意义的数字替换为。为保密起见),请注意,最后两行中有两个日期格式错误:LopNr AR KON ALDER LKF SJUKHUS MVO LT_KLIN INDATUMA UTDATUMA HDIA DIAGNOS OP PVARD INSATT UTSATT VTID EKOD. EKOD. ICD PEKARE OPD. OPD. OPD. OPD. OPD. OPD. OPD. OPD. OPD. OPD.. OPD.. OPD..

.. .... . . ...... ..... ... ... 19970320 19970320 S... S... . . . . W.... ..

.. .... . . ...... ..... ... ... 19970306 19970307 S... S... . . . . W.... ..

.. .... . .. ...... ..... ... ... 19961219 19970208 Z... Z... S... . . . .. W.... ..

.. .... . .. ...... ..... ... ... 19970208 19970320 Z... Z... S... . . . .. W.... ..

.. .... . .. ...... ..... ... ... 19970604 19970611 I... I... I... I... . . . . ..

.. .... . .. ...... ..... ... ... 19970402 19970406 O800A O800A . . . . ..

.. .... . .. ...... ..... ... ... 19970412 19970415 R... R... I... Z... J... . . . . ..

.. .... . .. ...... ..... ... ... 19970520 19970523 R... R... I... J... V.... . . . . .. .

.. .... . .. ...... ..... ... ... 19970504 19970507 I... I... . . . . ..

.. .... . .. ...... ..... ... ... 1997050 19970507 I... I... . . . . ..

.. .... . .. ...... ..... ... ... 19970504 string I... I... . . . . ..

python中日期的数据类型_强制日期时间转换,强制日期时间数据类型,在pandas中使用read_表...相关推荐

  1. 日期格式:ddMMyy-hhmmss,格林威治时间转换成北京时间

    有些项目需要第三方的接口来取数据,这样就有个问题,那就是有些字段比较特殊,采用的都是国际标准时间,方便别的语言调用,这样时间差就相差不一样了,需要进行转换. 例如:GPS的数据时间格式:ddMMyy- ...

  2. Python时间转换函数:时间转化为时间戳、时间戳转化为时间、当前日期、当前时间、星期几、前面或者后面多少天、年、月、日等

    Python时间转换函数:时间转化为时间戳.时间戳转化为时间.当前日期.当前时间.星期几.前面或者后面多少天.年.月.日等 #Python时间转换函数:时间转化为时间戳.时间戳转化为时间.当前日期.当 ...

  3. mysql 格林时间转换_格林时间转换成正常时间

    uscdbmt@rac1:~> date +%s 1414741902 oracle中怎么把这个1414741902转换成正常时间格式 select Numtodsinterval(141474 ...

  4. php 日期转毫秒_【小技巧】 各种日期操作方法汇总

    虽然现在处理日期方面已经有了很成熟的也很好用的库,例如(momentjs和date-fns),但是在实际开发中,我们有时候可能并不需要整个库. 所以我就在下面整理了在前端开发时对日期时间的各种操作,也 ...

  5. python目标跟踪精度曲线图_目标跟踪配置(三)-评价指标-benchmark(更新中,关注请收藏。。。)...

    目标跟踪基础与智能前沿 关注上方公众号,回复下方安装过程中对应关键字,获得对应安装包. 本文持续更新中- 连载可关注知乎专栏"目标跟踪基础与前沿" 文章目录 [ 目标跟踪基础与智能 ...

  6. 西门子real是什么数据类型_【图】西门子s7-300 plc的数据类型有哪些?

    有关西门子s7-300 plc的三种数据类型,基本数据类型.复合数据类型和参数类型,详细介绍了这些数据类型的分类与功能,重点是基本数据类型与复合数据类型的使用方法. 西门子s7-300 plc的数据类 ...

  7. 时间转换python_Python 日期与时间转换的方法

    问题 你需要执行简单的时间转换,比如天到秒,小时到分钟等的转换. 解决方案 为了执行不同时间单位的转换和计算,请使用 datetime 模块. 比如,为了表示一个时间段,可以创建一个 timedelt ...

  8. linux目录时间转换,Shell日期时间和时间戳的转换

    Gitlab的备份文件是以时间戳显示的,类似:1438624820_gitlab_backup.tar 为了更易于阅读,想把文件名转换成日期格式:2015-08-04_gitlab_backup.ta ...

  9. PB byte 数据类型_大数据之脚踏实地学12Scala数据类型与运算符

    还没关注? 快动动手指! 前言 在春节期间,欢天喜地的办理了自己的婚礼,导致春节前后的一段时间都比较忙碌,进而使自己原创文章的脚步放慢了很多.许多朋友在微信公众号后台留言,表示想看大数据相关的文章.那 ...

  10. python中将HTTP头部中的GMT时间转换成datetime时间格式

    原文: https://blog.csdn.net/zoulonglong/article/details/80585716 需求背景:目前在做接口的自动化测试平台,由于接口用例执行后返回的结果中的时 ...

最新文章

  1. Metaspace 引起的 FullGC 问题排查过程及解决方案
  2. 编译android.mk
  3. 获取当前绝对工作目录与被执行文件的绝对目录
  4. [Python学习笔记]h5py入门讲解
  5. 使用RMAN备份控制文件(control file)和系统参数文件(spfile)
  6. 使用idea编写SparkStreaming消费kafka中的数据【小案例】(四)
  7. RoRoWoBlog 开源博客系统介绍
  8. 一天一个C++程序(六)
  9. cad转dxf格式文件太大_想知道DWG、DWT、DWS和DXF是什么吗?从了解4种CAD图形格式开始吧...
  10. MySQL_存储引擎
  11. vmware虚拟机的tomcat启动以后,主机无法访问
  12. vue设置多选框默认勾选_vue中复选框怎么默认全选,至少选择4个才可以点击下一步...
  13. MyCat分布式数据库集群架构工作笔记0018---高可用_单表存储千万级_海量存储_水平分表划分原则
  14. Windows 2008 R2 ServerCore学习点滴(1)
  15. 技术人成长路径之我见
  16. 自动驾驶4WS车辆路径跟踪最优控制算法仿真
  17. Jade平台的下载与原装
  18. pip install 安装requirements.txt经常报错解决方法
  19. 当程序员具备了抽象思维
  20. 写CSDN博客时,调节字体大小、颜色及其他样式的常用操作方法

热门文章

  1. C++播放音乐和MFC的messagebox用法
  2. Python实战技巧(9)Python发送邮件
  3. Cisco综合配置实验——二层、三层交换机、路由器
  4. Android程序设计之音乐播放器实现
  5. 人工智能——问题求解
  6. 今天那个劝比尔盖茨退学的人死了
  7. 从顶会层面看科研!计算机顶级会议大盘点!
  8. 学习编程,你真正需要的是什么样配置的电脑?
  9. 随心玩玩(四)docker从入门到入土
  10. STM32学习笔记一一ADC