python读写-datas.数据集和csv文件-预处理kddcup99

open读文件open()中"a"为追加写,w为删除原有内容从头写,r为只读,r+和w+都为读写(从头) file=open(path,"a",newline="").

csv.reader和csv.writer读写文件,np数组用scv.writer.writerow()和writerows可以直接写入csv中.
if x in 列表y : return[i for i in range(len(y)) if y(i)==x] else 列表.append()这里用的是[],用()的话返回的是生成器.

"""---------*- coding: utf-8 -*------------------File Name:     ex0Author:        kingsCatdate:          2022/3/2 14:04Description:
----------------------------------------------"""
import tqdm
from sklearn import datasets
import numpy as np
import csv
import time# 将相应的非数字类型转换为数字标识即符号型数据转化为数值型数据
def find_index(x, y):return [i for i in range(len(y)) if y[i] == x]# 定义将源文件行中3种协议类型转换成数字标识的函数
def handleProtocol(input):protocol_list = ['tcp', 'udp', 'icmp']if input[1] in protocol_list:return find_index(input[1], protocol_list)[0]# 定义将源文件行中70种网络服务类型转换成数字标识的函数
def handleService(input):service_list = ['aol', 'auth', 'bgp', 'courier', 'csnet_ns', 'ctf', 'daytime', 'discard', 'domain', 'domain_u','echo', 'eco_i', 'ecr_i', 'efs', 'exec', 'finger', 'ftp', 'ftp_data', 'gopher', 'harvest','hostnames','http', 'http_2784', 'http_443', 'http_8001', 'imap4', 'IRC', 'iso_tsap', 'klogin', 'kshell','ldap','link', 'login', 'mtp', 'name', 'netbios_dgm', 'netbios_ns', 'netbios_ssn', 'netstat', 'nnsp','nntp','ntp_u', 'other', 'pm_dump', 'pop_2', 'pop_3', 'printer', 'private', 'red_i', 'remote_job', 'rje','shell','smtp', 'sql_net', 'ssh', 'sunrpc', 'supdup', 'systat', 'telnet', 'tftp_u', 'tim_i', 'time','urh_i', 'urp_i','uucp', 'uucp_path', 'vmnet', 'whois', 'X11', 'Z39_50']if input[2] in service_list:return find_index(input[2], service_list)[0]# 定义将源文件行中11种网络连接状态转换成数字标识的函数
def handleFlag(input):flag_list = ['OTH', 'REJ', 'RSTO', 'RSTOS0', 'RSTR', 'S0', 'S1', 'S2', 'S3', 'SF', 'SH']if input[3] in flag_list:return find_index(input[3], flag_list)[0]# 定义将源文件行中攻击类型转换成数字标识的函数(训练集中共出现了22个攻击类型，而剩下的17种只在测试集中出现)
def handleLabel(input):# label_list=['normal.', 'buffer_overflow.', 'loadmodule.', 'perl.', 'neptune.', 'smurf.',# 'guess_passwd.', 'pod.', 'teardrop.', 'portsweep.', 'ipsweep.', 'land.', 'ftp_write.',# 'back.', 'imap.', 'satan.', 'phf.', 'nmap.', 'multihop.', 'warezmaster.', 'warezclient.',# 'spy.', 'rootkit.']global label_list  # 在函数内部使用全局变量并修改它if input[41] in label_list:return find_index(input[41], label_list)[0]else:label_list.append(input[41])return find_index(input[41], label_list)[0]if __name__ == "__main__":# 加载数据集,并且把data和target合并起来kdd = datasets.fetch_kddcup99(data_home="./kdd-set", download_if_missing=False, random_state=1)X, Y = kdd.data, kdd.targetY = np.expand_dims(Y, 1)  # 在1上扩容,就相当于进入一个[]后再在每个元素中添加[]Z = np.append(X, Y, axis=1)  # 在列上合并.就是指把每一列一溜溜的拍起来.||和|||合并就成就了|||||print(Z.shape)source_path = "./kdd-set"handled_path = "./handled.csv"# 打开文件data_file = open(handled_path, "w", newline="")  # 若没有这个文件,直接就能创建# csv写器csv_writer = csv.writer(data_file)label_list = []for i in tqdm.trange(Z.shape[0]):buffer = Z[i]buffer[1] = handleProtocol(buffer)  # 将源文件行中3种协议类型转换成数字标识buffer[2] = handleService(buffer)  # 将源文件行中70种网络服务类型转换成数字标识buffer[3] = handleFlag(buffer)  # 将源文件行中11种网络连接状态转换成数字标识buffer[41] = handleLabel(buffer)  # 将源文件行中23种攻击类型转换成数字标识csv_writer.writerow(buffer)# 输出每行数据中所修改后的状态data_file.close()def 验证csv读写方式():path="./handled.csv"# open()中"a"为追加写,w为删除原有内容从头写,r为只读,r+和w+都为读写(从头)file=open(path,"a",newline="")writer=csv.writer(file)for i in range(10):print(i)writer.writerow(np.array([1,2,i]))file.close()

python读写-datas.数据集和csv文件-预处理kddcup99相关推荐

python爬虫——保存数据为.csv文件
CSV(Comma Separated Values)格式是电子表格和数据库中最常见的输入.输出文件格式爬虫保存数据为.csv文件步骤: 1.导包 import csv 2.创建或打开文件,设置文件 ...
使用Python获取股票数据（csv文件）
运行效果代码 import tushare as ts import matplotlib.pyplot as pltdf1 = ts.get_k_data('600519', ktype='D', ...
python获取mysql中的数据供js调用_python 读取mysql数据至csv文件中，并发送邮件
test 代码: #coding:utf-8 ''' Created on 2019年2月18日 @author: Administrator ''' import ConfigParser impo ...
python csv读写方法_python中csv文件的若干读写方法小结
如下所示: //用普通文本文件方式打开和操作 with open("'file.csv'") as cf: lines=cf.readlines() ...... //用普通文本方 ...
Python 爬虫数据写入csv文件中文乱码解决以及天眼查爬虫数据写入csv
python爬虫数据写入csv文件中文乱码,用'utf-8'在pycharm中打开文件没有问题,但是用excel打开却出现了问题,以下为解决方法. (最近在练习爬虫,这个博文是对自己学习的记录和分享, ...
python 保存本地乱码,解决python保存数据到csv文件中文乱码的方法
解决python保存数据到csv文件中文乱码的方法发布时间:2020-07-08 13:49:53 来源:亿速云阅读:695 作者:清晨小编给大家分享一下解决python保存数据到csv文件中文 ...
python爬虫案例分析：爬取肯德基门店地址数据导入csv文件并最终用excel文档呈现
1.用到的模块: requests pprint csv 2.找到肯德基门店网站进入门店位置页面后,打开抓包工具,找到response中包含所需信息的正确的url信息 3. 导入地址url 4.为防止 ...
python查询数据库数据并将数据写入csv文件,并读取
1.连接数据库 import mysql.connector #连接测试数据库 mydb = mysql.connector.connect(host="10.100.0.0",u ...
csv java web 导入_DAY5-step9 使用CSV模块和Pandas在Python中读取和写入CSV文件
什么是CSV文件? CSV文件是一种纯文本文件,其使用特定的结构来排列表格数据. CSV是一种紧凑,简单且通用的数据交换通用格式. 许多在线服务允许其用户将网站中的表格数据导出到CSV文件中. CSV ...

python读写-datas.数据集和csv文件-预处理kddcup99

python读写-datas.数据集和csv文件-预处理kddcup99相关推荐

最新文章

热门文章