pandas时间序列相减，找出时间最接近的

两张表如下：

表1：

表2：

需求： 按照表1的“用户唯一ID”，在表2 中找到对应的“客户风险等级”和“评估日期”

难点： 每个“用户唯一ID”对对应不同“评估日期”日期下的“客户风险等级”，所以不能简单的使用pd.merge()

解决方法： 双层循环，找到时间差小的“评估日期”作为当前用户的“客户风险等级”，同时为了体现是最近的信息，必须保证

# 客户风险表
## 因为每个用户在不同时期会有不同的风险等级，所以这里需要一个一个迭代，去匹配与当前交易日期最接近的评估日期下的风险等级
custom_risk = pd.read_csv("./数据表/e.csv", header = 0, names = ["用户唯一ID", "客户风险等级", "评估日期"])
custom_risk["评估日期"] = custom_risk["评估日期"].map(lambda x: "-".join([str(x)[0:4], str(x)[4:6], str(x)[6:]]))
custom_risk["评估日期"] = pd.to_datetime(custom_risk["评估日期"], format = "%Y/%m/%d")
risk_1 = [] # 记录客户风险等级
risk_2 = [] # 记录评估日期
risk_3 = [] # 记录record_miss， 1表示miss
for r in tqdm(range(len(df))):cur_risk = custom_risk[custom_risk["用户唯一ID"] == df.iloc[r]["用户唯一ID"]]if(len(cur_risk) == 0):risk_1.append(float('nan'))risk_2.append(float('nan'))risk_3.append(float('nan'))continuem = pd.Timedelta(days=100000)record_correct = -1 # 什么情况是正确的？即：评估时间小于交易日期，且与交易日期最接近record_miss = 0     # 什么情况是丢失的？即：评估时间大于交易日期，且与交易日期最接近，这个有可能不准，但是也有一定的参考性，for r1 in range(len(cur_risk)):if abs(cur_risk.iloc[r1]["评估日期"] - df.iloc[r]["交易日期"]) < m and (cur_risk.iloc[r1]["评估日期"] < df.iloc[r]["交易日期"]):m = abs(cur_risk.iloc[r1]["评估日期"] - df.iloc[r]["交易日期"])record_correct = r1if record_correct == -1: # 说明当前的交易日期之前，没有进行风险评估m = pd.Timedelta(days=100000)for r1 in range(len(cur_risk)):if abs(cur_risk.iloc[r1]["评估日期"] - df.iloc[r]["交易日期"]) < m:m = abs(cur_risk.iloc[r1]["评估日期"] - df.iloc[r]["交易日期"])record_miss = r1risk_1.append(cur_risk.iloc[record_miss]["客户风险等级"])risk_2.append(cur_risk.iloc[record_miss]["评估日期"])risk_3.append(1)else:risk_1.append(cur_risk.iloc[record_correct]["客户风险等级"])risk_2.append(cur_risk.iloc[record_correct]["评估日期"])risk_3.append(0)
df["客户风险等级"] = risk_1
df["客户风险等级_评估日期"] = risk_2
df["客户风险等级_没有被评估"] = risk_3
del risk_1
del risk_2
del risk_3
gc.collect()

就是有点慢，因为数据太多了，200万条，没其他问题。

panda语法：

# 设置一个最小值m = pd.Timedelta(days=100000)# pandas的Time直接相减abs(cur_risk.iloc[r1]["评估日期"] - df.iloc[r]["交易日期"]) < m

pandas时间序列相减，找出时间最接近的相关推荐

在numpy与pandas中，快速找出mode(众数)
在numpy与pandas中,快速找出mode(众数) 一位朋友突然问我说,numpy中,如何找出一维数组和二维数组(矩阵)中的mode,我当然说我知道怎么找啊,等我回家后再写一下代码就知道了..., ...
oracle中那个日期怎么相减_oracle日期时间加减规则
1.日期的加减都是以天为单位的 SELECT to_date('2016-07-05 13:10:00','yyyy-mm-dd hh24:mi:ss') + 1 FROM dual; 结果:2016 ...
js 时间戳相减算出年月日
export const Date = (date1, date2) => {console.log(date1, date2);let str = '';let state = new Dat ...
matlab时间字符串相减,Matlab中时间字符串处理总结
Matlab的日期与时间处理 Matlab用三种格式来表示日期与时间 (1)双精度型日期数字:一个日期型数字代表从公元0年到某一日期的的天数,例如,2008年8月26日夜时0点钟被表示为733646, ...
java找出和最接近指定值_如何找到数组元素与特定值最接近的和？
小编典典对于这种问题,通常将使用动态编程.但是,本质上可以归结为保留一组可能的总和,然后将输入值一个接一个地添加,如以下代码所示,并且具有相同的渐近运行时间:O(n K),其中n输入数组的大小和K目 ...
html 两个时间戳相减,表格里两列时间点如何相减
EXCEL表中如何让两列时间相减两列时间,格式是常规,显示如:24时20分,如果我直接相减(比如C1=A1-B时间是特殊的数值形式,直接相减即可 Excel版本参考:2010 测试数据在A1和A2单 ...
hive时间相减转分钟
--第一个时间是正规格式:2022-07-16 13:56:03 --第二个时间后面多个0:2022-07-16 13:06:47.0 需要substr一下把后面的0去掉select ftrade_g ...
PHP时间相减获得剩余天数小时数分钟数
php 把秒数转换为时长(h:i:s格式) /** * 把秒数转换为时分秒的格式 * @param Int $times 时间,单位秒 * @return String */ function se ...
二、python时间序列数据的相减
在此记录自己学习python数据分析过程中学到的一些数据处理的小技巧.本节主要分享时间数据的相减. 1.将读取的时间序列数据转化为timestamp格式 #导入numpy库和pandas库 impor ...

pandas时间序列相减，找出时间最接近的

pandas时间序列相减，找出时间最接近的相关推荐

最新文章

热门文章