项目场景：

从oracle读取数据后转为dataframe形式，然后通过to_feather()存入ft文件
之后通过pandas.read_feather()从文件中读取dataframe数据
数据类型包括date，并且有超出时间戳的数据，比如0002-12-01 00:00:00或9999-10-01 00:00:00

问题描述：

存入feather文件时正常，从ft文件读取时出错，错误如下
大概意思是从timestamp[us]强制转换为timestamp[ns]将导致时间戳越界

pyarrow.lib.ArrowInvalid: Casting from timestamp[us] to timestamp[ns] would result in out of bounds timestamp

原因分析：

就是date类型的某些数据超过了时间戳的界限

解决方案：

在网上实在搜不到能一眼看懂的解决方案，直到在pandas官网上一直死磕Representing out-of-bounds spans部分，发现了可行的解决方案：
pandas.PeriodIndex
pandas官网上的示例如下

In [413]: span = pd.period_range('1215-01-01', '1381-01-01', freq='D')In [414]: span
Out[414]:
PeriodIndex(['1215-01-01', '1215-01-02', '1215-01-03', '1215-01-04','1215-01-05', '1215-01-06', '1215-01-07', '1215-01-08','1215-01-09', '1215-01-10',...'1380-12-23', '1380-12-24', '1380-12-25', '1380-12-26','1380-12-27', '1380-12-28', '1380-12-29', '1380-12-30','1380-12-31', '1381-01-01'],dtype='period[D]', length=60632, freq='D')

这不就是创了个区间的数据，实在没看懂怎么用PeriodIndex

之后直接去看PeriodIndex的用法，发现它的参数里有data，寻思直接调用PeriodIndex(data)把我dataframe里的越界数据调整一下？df['SWHZDJRQ'] = pd.PeriodIndex(df.SWHZDJRQ)(SWHZDJRQ是我dataframe里日期的列名)
然后报了个错？

ValueError: freq not specified and cannot be inferred

freq没指定，无法判断？那我就加上了freq参数，这个参数的介绍如下
fre:qstr or period object, optional. One of pandas period strings or corresponding objects.
大概是指定精度啥的，然后设为秒df['SWHZDJRQ'] = pd.PeriodIndex(df.SWHZDJRQ,freq='s')
一运行，诶，可以了，没啥错误了，也不报越界了，总算搞定了，折腾了一整天。

pyarrow.lib.ArrowInvalid: Casting from timestamp[us] to timestamp[ns] would result in out of bounds相关推荐

pyarrow.lib.ArrowInvalid: ‘utf-32-le‘ codec can‘t decode
使用pyspark的定义数据类型后,通过@pandas_udf的形式进行装饰的时候发现错误. 代码片段如下: schema = StructType([StructField("store_ ...
mysql timestamp _mysql之TIMESTAMP（时间戳）用法详解
一.TIMESTAMP的变体 TIMESTAMP时间戳在创建的时候可以有多重不同的特性,如: 1.在创建新记录和修改现有记录的时候都对这个数据列刷新: TIMESTAMP DEFAULT CURREN ...
mysql timestamp 类型_MySQL timestamp类型
在本教程中,您将了解MySQL TIMESTAMP和TIMESTAMP列的功能,如使用时间戳自动初始化和更新. MySQL TIMESTAMP简介 MySQL TIMESTAMP是一种保存日期和时间组 ...
mysql timestamp格式化_mysql TIMESTAMP（时间戳）详解
TIMESTAMP的变体 1,TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP 在创建新记录和修改现有记录的时候都对这个数 ...
java timestamp 使用_Java Timestamp 类的使用(转)
怎么把一个java.util.Date类型转化成java.sql.Timestamp类型呢? 很简单,我们可以这样声明 Timestamp ts=new Timestamp(new Date() ...
python timestamp转date_python timestamp和datetime之间转换详解
做开发中难免时间类型之间的转换, 最近就发现前端js和后端django经常要用到这个转换, 其中jsDate.now()精确到毫秒,而Python中Datetime.datetime.now()是精确 ...
mysql timestamp json_mysql中timestamp,datetime,int类型的区别与优劣
mysql中timestamp,datetime,int类型的区别与优劣 int 1. 占用4个字节 2. 建立索引之后,查询速度快 3. 条件范围搜索可以使用使用between 4. 不能使用mys ...
mysql timestamp 用法_MYSQL timestamp用法
问题来源在业务系统中,有时候想要知道用户最后一次活动距离现在的时间.记得mysql是有这样的字段的,可以直接在一条记录更新时,自动更新时间.上网查了查,找到了,是timestamp类型. 用法在表 ...
timestamp 6 mysql_Oracle timestamp(6)运用
我们都知道date和timestamp都是对日期和时间的表示,只是两种类型的精确度不同,前者精确到秒,后者精确到小数秒(fractional_se 我们都知道date和timestamp都是对日期和时 ...

pyarrow.lib.ArrowInvalid: Casting from timestamp[us] to timestamp[ns] would result in out of bounds

项目场景：

问题描述：

原因分析：

解决方案：

pyarrow.lib.ArrowInvalid: Casting from timestamp[us] to timestamp[ns] would result in out of bounds相关推荐

最新文章

热门文章