基于UEBA的用户上网异常行为分析

比赛地址链接：https://www.datafountain.cn/competitions/520

数据：

代码：

import pandas as pd
import numpy as np
from sklearn.preprocessing import LabelEncoder
import lightgbm as lgb
from sklearn.model_selection import KFold
from category_encoders import TargetEncoder
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import mean_squared_error
import math
from sklearn import ensemble
from datetime import datetime# 读取数据
train = pd.read_csv('train_data.csv',encoding='gb18030')
test = pd.read_csv('A_test_data.csv',encoding='gb18030')
data = pd.concat([train, test]).reset_index(drop=True)
# 特征处理
for col in data.columns:if col not in ['ret','time','id']:le = LabelEncoder()data[col] = le.fit_transform(data[col])
# 时间戳的处理
data['time']= pd.to_datetime(data['time'], format='%Y-%m-%d')
data['month']= data['time'].dt.month
data['day']= data['time'].dt.day
data['weekday']= data['time'].dt.weekday
data['hour'] = data['time'].dt.hour
# 类别特征
data = pd.get_dummies(data, columns=['vlan','group'],drop_first=True)
# 训练
train_x = data[data['ret'].notnull()]
train_y = train['ret']
test_A = data[data['ret'].isnull()]
target=train['ret']
features=[x for x in data.columns if x not in ['ret', 'time', 'id']]predictions_lgb= np.zeros((len(test)))
KF = KFold(n_splits=5, shuffle=True, random_state=2021)
params={"objective": "regression", "learning_rate": 0.05,"max_depth": 7, "num_leaves": 32, "bagging_fraction": 0.8, "feature_fraction": 0.8, "num_threads": 64,'metric': 'rmse',"verbose": -1}oof_lgb = np.zeros(len(train_x))
for fold_, (trn_idx, val_idx) in enumerate(KF.split(train_x.values, train_y.values)):print("fold n°{}".format(fold_))trn_data = lgb.Dataset(train_x.iloc[trn_idx][features], label=train_y.iloc[trn_idx])val_data = lgb.Dataset(train_x.iloc[val_idx][features], label=train_y.iloc[val_idx])num_round = 6000clf = lgb.train(params,trn_data,num_round,valid_sets=[trn_data, val_data],verbose_eval=500,)oof_lgb[val_idx] = clf.predict(train_x.iloc[val_idx][features], num_iteration=clf.best_iteration)predictions_lgb[:] += clf.predict(test_A[features], num_iteration=clf.best_iteration)predictions_lgb= predictions_lgb / 5
print('score:',  (1/((math.sin(math.atan(np.sqrt(mean_squared_error(oof_lgb,target)))))+1)))
test['ret'] = predictions_lgb
test[['id', 'ret']].to_csv("submission.csv", index=False)

参考：
https://blog.csdn.net/qq_44694861/article/details/120423658

CCF的基于UEBA的用户上网异常行为分析baseline（线上0.9263）相关推荐

2021 CCF基于UEBA的用户上网异常行为分析baseline线上0.90
2021CCF BDCI 今年CCF又来了,每年都有大佬选手夺冠,也有黑马新人突出重围,对于新人来说一份baseline是很好的起点,可以更快入门数据竞赛.(大佬请忽略!!!) 基于UEBA的用户上网 ...
基于UEBA的用户上网异常行为分析
1. 引言 1.1 项目介绍 ✅ 随着企业信息化水平的不断提升,数据作为一种资产成为越来越多企业的共识,企业在产业与服务.营销支持.业务运营.风险管控.信息纰漏等生产.经营.管理活动中涉及到大量的商业 ...
UEBA的用户上网异常行为分析方案总结
文章目录 1. 赛题背景 2. 算法方案整体流程 3. 特征分析与选择 3.1 数据量基本描述 3.2 类别特征编码 3.3 移除均匀分布变量 3.4 移除取值过多的干扰变量 3.5 最终变量 4. ...
Openwrt/koolshare基于接口控制用户上网时间的方法
准备 openwrt分支:koolshare koolshare版本:Linux Dhlwrt 4.14.115 #0 SMP Tue May 7 03:04:33 2019 x86_64 Openw ...
WSDM-爱奇艺：用户留存预测挑战赛线上0.865
赛题介绍 http://challenge.ai.iqiyi.com/detail?raceId=61600f6cef1b65639cd5eaa6 https://www.datafountain.c ...
jpa，分析duid参数，当前用户的最大线程数，线上问题排查，stack命令查看占用CPU高的线程堆栈信息
1.先查看应用进程号: ps -ef | grep 应用名 ,也就是 pid 2.查看pid垃圾回收情况: jstat -gc pid 5000(时间间隔) 3.dump jvm二进制的内存详细使用情 ...
线上发生死锁异常了，该怎么办
前言 MySQL 死锁异常是我们经常会遇到的线上异常类别,一旦线上业务日间复杂,各种业务操作之间往往会产生锁冲突,有些会导致死锁异常.这种死锁异常一般要在特定时间特定数据和特定业务操作才会复现,并且分 ...
基于thinkphp线上考试系统
开发语言:PHP 框架:原生php/thinkphp5 服务器:Apache 数据库:mysql 5.7(一定要5.7版本) 数据库工具:Navicat 11 运行软件:小皮phpStudy 随着社会 ...
论文阅读：基于用户上网数据的电影个性化推荐系统研究
基于用户上网数据的电影个性化推荐系统研究赵鹏程,黄韬* *(北京邮电大学信工程学院,北京 100876) 摘要:本文讲述了如何构建出完整电影知识图谱的方法,同时提出了一套发掘电影系列的实现算法.基 ...

CCF的基于UEBA的用户上网异常行为分析baseline（线上0.9263）

基于UEBA的用户上网异常行为分析

数据：

CCF的基于UEBA的用户上网异常行为分析baseline（线上0.9263）相关推荐

最新文章

热门文章