python 卡方分箱算法_python实现二分类的卡方分箱示例
解决的问题:
1、实现了二分类的卡方分箱;
2、实现了最大分组限定停止条件,和最小阈值限定停止条件;
问题,还不太清楚,后续补充。
1、自由度k,如何来确定,卡方阈值的自由度为 分箱数-1,显著性水平可以取10%,5%或1%
算法扩展:
1、卡方分箱除了用阈值来做约束条件,还可以进一步的加入分箱数约束,以及最小箱占比,坏人率约束等。
2、需要实现更多分类的卡方分箱算法;
具体代码如下:
# -*- coding: utf-8 -*-
"""
Created on Wed Nov 28 16:54:58 2018
@author: wolfly_fu
解决的问题:
1、实现了二分类的卡方分箱
2、实现了最大分组限定停止条件,和最小阈值限定停止条件;
问题,
1、自由度k,如何来确定?
算法扩展:
1、卡方分箱除了用阈值来做约束条件,还可以进一步的加入分箱数约束,以及最小箱占比,坏人率约束等。
2、需要实现更多分类的卡方分箱算法
"""
import pandas as pd
import numpy as np
from scipy.stats import chi2
#导入数据
df = pd.read_csv(u'test.csv')
#计算卡方统计量
def cal_chi2(input_df, var_name, Y_name): ##二分类,,计算每个变量值的卡方统计量
'''
df = input_df[[var_name, Y_name]]
var_values = sorted(list(set(df[var_name])))
Y_values = sorted(list(set(df[Y_name])))
#用循环的方式填充
chi2_result = pd.DataFrame(index=var_values, columns=Y_values)
for var_value in var_values:
for Y_value in Y_values:
chi2_result.loc[var_value][Y_value] = \
df[(df[var_name]==var_value)&(df[Y_name]==Y_value)][var_name].count()
'''
input_df = input_df[[var_name, Y_name]] #取数据
all_cnt = input_df[Y_name].count() #样本总数
all_0_cnt = input_df[input_df[Y_name] == 0].shape[0] # 二分类的样本数量
all_1_cnt = input_df[input_df[Y_name] == 1].shape[0]
expect_0_ratio = all_0_cnt * 1.0 / all_cnt #样本分类比例
expect_1_ratio = all_1_cnt * 1.0 / all_cnt
#对变量的每个值计算实际个数,期望个数,卡方统计量
var_values = sorted(list(set(input_df[var_name])))
actual_0_cnt = [] # actual_0 该值,类别为0的数量
actual_1_cnt = [] # actual_1 该值,类别为1的数量
actual_all_cnt = []
expect_0_cnt = [] # expect_0 类别0 的卡方值
expect_1_cnt = [] # expect_1 类别1 的卡方值
chi2_value = [] # chi2_value 该组的卡方值
for value in var_values:
actual_0 = input_df[(input_df[var_name]==value)&(input_df[Y_name]==0)].shape[0] #该值,类别为0的数量
actual_1 = input_df[(input_df[var_name]==value)&(input_df[Y_name]==1)].shape[0]
actual_all = actual_0 + actual_1 #总数
expect_0 = actual_all * expect_0_ratio #类别0 的 期望频率
expect_1 = actual_all * expect_1_ratio
chi2_0 = (expect_0 - actual_0)**2 / expect_0 #类别0 的卡方值
chi2_1 = (expect_1 - actual_1)**2 / expect_1
actual_0_cnt.append(actual_0) #样本为0的,该值的数量
actual_1_cnt.append(actual_1)
actual_all_cnt.append(actual_all) #改组的总样本数
expect_0_cnt.append(expect_0) #类别0 的 期望频率
expect_1_cnt.append(expect_1)
chi2_value.append(chi2_0 + chi2_1) #改变量值的卡方值
chi2_result = pd.DataFrame({'actual_0':actual_0_cnt, 'actual_1':actual_1_cnt, 'expect_0':expect_0_cnt, \
'expect_1':expect_1_cnt, 'chi2_value':chi2_value, var_name+'_start':var_values, \
var_name+'_end':var_values}, \
columns=[var_name+'_start', var_name+'_end', 'actual_0', 'actual_1', 'expect_0', 'expect_1', 'chi2_value'])
return chi2_result, var_name
#定义合并区间的方法
def merge_area(chi2_result, var_name, idx, merge_idx):
#按照idx和merge_idx执行合并
chi2_result.ix[idx, 'actual_0'] = chi2_result.ix[idx, 'actual_0'] + chi2_result.ix[merge_idx, 'actual_0']
chi2_result.ix[idx, 'actual_1'] = chi2_result.ix[idx, 'actual_1'] + chi2_result.ix[merge_idx, 'actual_1']
chi2_result.ix[idx, 'expect_0'] = chi2_result.ix[idx, 'expect_0'] + chi2_result.ix[merge_idx, 'expect_0']
chi2_result.ix[idx, 'expect_1'] = chi2_result.ix[idx, 'expect_1'] + chi2_result.ix[merge_idx, 'expect_1']
chi2_0 = (chi2_result.ix[idx, 'expect_0'] - chi2_result.ix[idx, 'actual_0'])**2 / chi2_result.ix[idx, 'expect_0']
chi2_1 = (chi2_result.ix[idx, 'expect_1'] - chi2_result.ix[idx, 'actual_1'])**2 / chi2_result.ix[idx, 'expect_1']
chi2_result.ix[idx, 'chi2_value'] = chi2_0 + chi2_1 #计算卡方值
#调整每个区间的起始值
if idx < merge_idx:
chi2_result.ix[idx, var_name+'_end'] = chi2_result.ix[merge_idx, var_name+'_end'] #向后扩大范围
else:
chi2_result.ix[idx, var_name+'_start'] = chi2_result.ix[merge_idx, var_name+'_start'] ##,向前扩大范围
chi2_result = chi2_result.drop([merge_idx]) #删掉行
chi2_result = chi2_result.reset_index(drop=True)
return chi2_result
#自动进行分箱,使用最大区间限制
def chiMerge_maxInterval(chi2_result, var_name, max_interval=5): #最大分箱数 为 5
groups = chi2_result.shape[0] #各组的卡方值,数量
while groups > max_interval:
min_idx = chi2_result[chi2_result['chi2_value']==chi2_result['chi2_value'].min()].index.tolist()[0] #寻找最小的卡方值
if min_idx == 0:
chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1) #合并1和2组
elif min_idx == groups-1:
chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)
else: #寻找左右两边更小的卡方组
if chi2_result.loc[min_idx-1, 'chi2_value'] > chi2_result.loc[min_idx+1, 'chi2_value']:
chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1)
else:
chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)
groups = chi2_result.shape[0]
return chi2_result
def chiMerge_minChiSquare(chi2_result, var_name): #(chi_result, maxInterval=5):
'''
卡方分箱合并--卡方阈值法,,同时限制,最大组为6组,,可以去掉
'''
threshold = get_chiSquare_distribution(4, 0.1)
min_chiSquare = chi2_result['chi2_value'].min()
#min_chiSquare = chi_result['chi_square'].min()
group_cnt = len(chi2_result)
# 如果变量区间的最小卡方值小于阈值,则继续合并直到最小值大于等于阈值
while(min_chiSquare < threshold and group_cnt > 6):
min_idx = chi2_result[chi2_result['chi2_value']==chi2_result['chi2_value'].min()].index.tolist()[0] #寻找最小的卡方值
#min_index = chi_result[chi_result['chi_square']==chi_result['chi_square'].min()].index.tolist()[0]
# 如果分箱区间在最前,则向下合并
if min_idx == 0:
chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1) #合并1和2组
elif min_idx == group_cnt -1:
chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)
else: #寻找左右两边更小的卡方组
if chi2_result.loc[min_idx-1, 'chi2_value'] > chi2_result.loc[min_idx+1, 'chi2_value']:
chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1)
else:
chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)
min_chiSquare = chi2_result['chi2_value'].min()
group_cnt = len(chi2_result)
return chi2_result
#分箱主体部分包括两种分箱方法的主体函数,其中merge_chiSquare()是对区间进行合并,
#get_chiSquare_distribution()是根据自由度和置信度得到卡方阈值。我在这里设置的是自由度为4
#,置信度为10%。两个自定义函数如下
def get_chiSquare_distribution(dfree=4, cf=0.1):
'''
根据自由度和置信度得到卡方分布和阈值
dfree:自由度k= (行数-1)*(列数-1),默认为4 #问题,自由度k,如何来确定?
cf:显著性水平,默认10%
'''
percents = [ 0.95, 0.90, 0.5,0.1, 0.05, 0.025, 0.01, 0.005]
df = pd.DataFrame(np.array([chi2.isf(percents, df=i) for i in range(1, 30)]))
df.columns = percents
df.index = df.index+1
# 显示小数点后面数字
pd.set_option('precision', 3)
return df.loc[dfree, cf]
以上这篇python实现二分类的卡方分箱示例就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
python 卡方分箱算法_python实现二分类的卡方分箱示例相关推荐
- python分箱代码_python实现二分类的卡方分箱示例
解决的问题: 1.实现了二分类的卡方分箱: 2.实现了最大分组限定停止条件,和最小阈值限定停止条件: 问题,还不太清楚,后续补充. 1.自由度k,如何来确定,卡方阈值的自由度为 分箱数-1,显著性水平 ...
- 【Android UI】贝塞尔曲线 ⑦ ( 使用 德卡斯特里奥算法 公式计算的 方法绘制三阶贝塞尔曲线示例 )
文章目录 一.使用 德卡斯特里奥算法 公式计算的 方法绘制三阶贝塞尔曲线 二.代码示例 贝塞尔曲线参考 : https://github.com/venshine/BezierMaker 一.使用 德 ...
- 【图像处理】——Python实现图像特征提取BP神经网络实现图像二分类
目录 一.图像特征提取 二.BP实现图像二分类 1.输入层.隐层.输出层结点个数设置 (1)one hot码(假设是n分类问题) (2)一个输出,输出层结点为1 一.图像特征提取 图像具有灰度特征.G ...
- k线顶分型 python_顶底分型-(K线分类及顶底分型的一种数学原理 源码 贴图)...
好股票软件下载网(www.goodgupiao.com)提示:您正在下载的是:顶底分型-(K线分类及顶底分型的一种数学原理 源码 贴图) 参考缠论,研究了很多天终于将顶底分型进行了具体的数学量化,涵盖 ...
- 逻辑回归算法——经典的二分类算法
一.概述 1.逻辑回归(Logistic Regression)算法是分类算法,而不是回归算法 2.决策边界:可以是非线性的(高阶) 二.sigmoid函数 1.定义: g ( z ) = 1 1 + ...
- chimerge算法matlab实现,有监督的卡方分箱算法
实现代码 import numpy as np import pandas as pd from collections import Counter def chimerge(data, attr, ...
- python实现排列组合公式算法_Python实现卡尔曼滤波算法之贝叶斯滤波
Python实现卡尔曼滤波算法之贝叶斯滤波 作者:yangjian 卡尔曼滤波器属于贝叶斯滤波器的一种特例,本文主要讲解贝叶斯滤波原理及其算法的python实现. 先来看下贝叶斯公式 贝叶斯公式 :后 ...
- python语言实现rsa公钥密码算法_python实现RSA算法
文章最后更新时间为:2018年12月26日 23:07:29 RSA是一种公钥密码算法,其影响力我就不多说了,算法原理网上多的是,看了几篇,还是觉得阮一峰写的好懂. 要想实现RSA,其关键在于大数运算 ...
- python计算四元素组合算法_python – 算法,列表元素之间的最近点
这种方法是一种强力方法,但使用类似于Dijkstra算法的消除方法,这导致了更少的情况(使得算法最有可能快几个数量级,特别是对于大型列表或大量列表).告诉我你是否理解它,我可以澄清一下.可以在此处找到 ...
最新文章
- 指针递归调调用实现循环移位
- ASP.NET Eval如何进行数据绑定
- 采用redis+ThreadLocal获取全局的登录用户信息(一)
- 大数据时代的公共安全治理
- Keras requires TensorFlow 2.2 or higher怎么办?
- RabbitMQ (一) MQ介绍以Linux下RabbitMq环境安装
- 某个网页一直不停刷新_利用浏览器做网页长截图
- CentOS6.5安装python2.7.6(慎重升级)
- 谷歌如何获取了我们的个人数据?
- underscore 系列之字符实体与 _.escape
- 第一行代码笔记-第五章
- 记录一次JDK版本问题,引发的思考
- sonarqube如何导入规则_webpack如何使用Vue
- MOSS入门教程:一步一步Sharepoint 2007系列
- 腾亚幕墙 HTML 教程
- 开源软件修改的必要性
- 基于工程量的智能动态计划管控
- 可用的公开 RTSP/ RTMP 在线视频流资源地址(亲测可行)
- python将excel时间_Python学习笔记(一)Python时间戳与Excel的日期
- Java开发需要知道的HTML知识
热门文章
- CSS 实现背景半透明
- Block CONNECT method in httpd.conf
- sqlite的数据导入 导出
- internet网络 checksum校验和计算方法
- mysql存储过程_Mysql存储过程
- 计算机常用数制转换说课稿,进制与进制转换说课稿
- html单张图片效果,jquery+html5实现单张图片上传预览
- python修改html表格,使用styles和css更改pandas dataframe html表python中...
- session案例之验证码
- C#JsonConvert.DeserializeObject反序列化json字符