将数据保存为CSV形式存储
将数据保存为CSV形式存储
可以使用pandas.Dataframe.to_csv()函数来储存数据为csv文件。
以下展示为自定义函数实现数据存储为csv文件:
函数标注已经写在代码中:
代码示例:
import numpy as np
import sklearn
import pandas as pd
import os
import sys
import tensorflow as tf
from tensorflow import keras
from sklearn.datasets import fetch_california_housing #从sklearn中引用加州的房价数据housing = fetch_california_housing()
print(housing.DESCR)
print(housing.data.shape)
print(housing.target.shape)
#引用train_test_split对数据集进行拆分
# test_size 控制切分比例,默认切分比例3:1
from sklearn.model_selection import train_test_split #拆分数据集,加载数据集后返回训练集以及测试集
x_train_all, x_test, y_train_all, y_test = train_test_split(housing.data, housing.target, random_state = 1) #将训练集进行一次拆分为验证集和测试集
x_train, x_valid, y_train, y_valid = train_test_split(x_train_all, y_train_all, random_state=2)print(x_train.shape, y_train.shape)
print(x_valid.shape, y_valid.shape)
print(x_test.shape, y_test.shape)
(11610, 8) (11610,)
(3870, 8) (3870,)
(5160, 8) (5160,)
from sklearn.preprocessing import StandardScalerscaler = StandardScaler()
#对数据进行归一化处理#由于transform处理处理数据时二维数组,所以要将数据转化一下
#x_train: [none, 28, 28] -> [none, 784]
#对于使用fit_transform 和transform 请参考我的TensorFlow中的博客
x_train_scaled = scaler.fit_transform(x_train)
x_valid_scaled = scaler.transform(x_valid)
x_test_scaled = scaler.transform(x_test)
from sklearn.preprocessing import StandardScalerscaler = StandardScaler()
#对数据进行归一化处理#由于transform处理处理数据时二维数组,所以要将数据转化一下
#x_train: [none, 28, 28] -> [none, 784]
#对于使用fit_transform 和transform 请参考我的TensorFlow中的博客
x_train_scaled = scaler.fit_transform(x_train)
x_valid_scaled = scaler.transform(x_valid)
x_test_scaled = scaler.transform(x_test)
from sklearn.preprocessing import StandardScalerscaler = StandardScaler()
#对数据进行归一化处理#由于transform处理处理数据时二维数组,所以要将数据转化一下
#x_train: [none, 28, 28] -> [none, 784]
#对于使用fit_transform 和transform 请参考我的TensorFlow中的博客
x_train_scaled = scaler.fit_transform(x_train)
x_valid_scaled = scaler.transform(x_valid)
x_test_scaled = scaler.transform(x_test)
# np.c_[] : 按照列连接字符串
train_data = np.c_[x_train_scaled, y_train]
valid_data = np.c_[x_valid_scaled, y_valid]
test_data = np.c_[x_test_scaled, y_test]#将添加的新的一列Y值添加一个列名
header_cols = housing.feature_names + ["MidanHouseValue"]
header_str = ",".join(header_cols)#生成csv文件
train_filenames = save_to_csv(output_dir, train_data, "train", header_str, n_parts=20)
valid_filenames = save_to_csv(output_dir, valid_data, "valid", header_str, n_parts=10)
test_filenames = save_to_csv(output_dir, test_data, "test", header_str, n_parts=10)
将数据保存为CSV形式存储相关推荐
- 【python数据分析】将爬取的数据保存为csv格式
数据保存为csv格式 csv文件 python的csv模块 从csv文件读取内容 写入csv文件 运用实例 数据准备 将数据存为字典的形式 存储到csv文件 csv文件 一种用逗号分割来实现存储表格数 ...
- R将dataframe数据保存为csv文件
R将dataframe数据保存为csv文件 目录 R将dataframe数据保存为csv文件 使用write.csv函数 使用reader包中的write_csv函数
- python pandas 把数据保存成csv文件,以及读取csv文件获取指定行、指定列数据
文章目录: 1 数据说明 2 把数据集文件信息使用python pandas保存成csv文件 3 使用python pandas 读取csv的每行.每列数据 1 数据说明 1.在test_data目录 ...
- python爬取数据保存为csv时生成编号_将爬取到到数据以CSV格式存储
CSV文件存储 CSV,全称为Comma-Separated Values,中文可以叫做逗号分隔值或字符分隔值,其文件以纯文本形式存储表格数据.该文件是一个字符序列,可以由任意数目的记录组成,记录间以 ...
- Qt如何将数据保存成CSV文件
一.csv文件 csv文件是逗号分隔值(Comma-Separated Values,CSV)文件的缩写,其文件以纯文本形式存储表格数据(数字和文本),各个字段用逗号进行分割,采用回车进行换行.由于采 ...
- 【Class 20】【实例】python 爬虫简单案例实现二---将数据保存为CSV文件
摘抄一位网友的写入和读取csv的代码: #输出数据写入CSV文件 import csv data = [("Mike", "male", 24),(" ...
- 爬取‘广州链家新房’数据并以csv形式保存。
--本次的目标是爬取'广州链家新房'前十页的信息,具体需要爬取的信息为'楼房名字.地址.价格以及是否在售的情况',具体的代码如下. import requests,time import pandas ...
- python将数据保存为csv格式
python保存csv 保存字典数据 import csv item = {'title': '穆斯林的葬礼', 'asin': '', 'url': '', 'brand': ''} fieldna ...
- 和讯网债券数据Python爬取保存成CSV文件之一
本文讲述国债数据使用python爬取的方式,并将得到的数据保存成CSV文件以日期命名,方便后期处理. 具体代码如下所示: import requests from bs4 import Beautif ...
最新文章
- 剑指offer:数组中的逆序对
- 设置NotePad++设置不打开上次关闭的文件
- ASP.NET MVC从视图传递多个模型到Controller
- C#正则表达式编程(四)转致周公
- nodejs实践录:pm2使用
- respond java 使用_java – 使用android问题的HttpResponse:执行总...
- matlab m语言电路仿真,基于Matlab的TFT-LCD解码电路的仿真设计(含程序)
- 云计算99.9%可用性毫无意义 灾难恢复是关键
- Linux批量部署无密钥脚本
- AE+BodyMovin导出动画JSON文件
- Tomcat部署及优化
- java web自动生成编号_2013-8-6 10:56:07 JAVA_WEB:员工号自动生成源代码
- c语言编程 菲薄拉,C语言设计模式-封装-继承-多态
- 【Docker】docker安装elasticsearch集群,Kibana安装以及开启认证
- 解决本地连接不上虚拟机的问题
- OA办公系统项目展示
- CAD电气工程图教程之布局方法和设计规则
- 无限滚动插件Infinite Scroll
- CUG中国地质大学(武汉)现代软件国际会议用例图活动图状态图
- 正点原子IMX6UL 多个按键中断 输入子系统实战