使用numpy.random.choice()和set()快速划分交叉训练数据集

之前在划分训练集和验证集时，都是手工随机生成index，很笨。

学到的新方法如下：

import numpy as np
# 正态分布生成原始数据
x = np.random.random.normal(1,0.1,100)
# 按8:2分割数据
x_train_index = np.random.choice(len(x),round(len(x)*0.8),replace = False)
x_valid_index = np.array(list(set(range(len(x))) - set(x_train_index)))x_train = x[x_train_index]
x_valid = x[x_valid_index]

总结1: np.random.choice()

Definition : choice(a, size=None, replace=True, p=None)

Type : Function of None module

Parameters
a : 1-D array-like or int
If an ndarray, a random sample is generated from its elements. If an int, the random sample is generated as if a was np.arange(n)
size : int or tuple of ints, optional
Output shape. If the given shape is, e.g., (m, n, k), then m * n * k samples are drawn. Default is None, in which case a single value is returned.
replace : boolean, optional
Whether the sample is with or without replacement
是否包含重复元素
p : 1-D array-like, optional
The probabilities associated with each entry in a. If not given the sample assumes a uniform distribution over all entries in a.
按什么概率分布选取元素，默认是均匀分布

Returns
samples : 1-D ndarray, shape (size,)
The generated random samples

总结2: set()

Python的集合(set)和其他语言类似, 是一个无序不重复元素集, 基本功能包括关系测试和消除重复元素.

总结3: batch training

batch training 一样可以使用这种方法选取数据

batch_size = 25
for epoch in range(100):rand_index = np.random.choice(len(x_train), size = batch_size)rand_x = x_train[rand_index]rand_y = y_train[rand_index]...

[机器学习]三行代码快速划分交叉训练中训练集和验证集相关推荐

文本分类训练集测试集_【AI1000问】训练为什么要分测试集和验证集？
9 往期视频点击边框调出视频工具条为什么要分训练集和测试集呢? 在很多的书以及一些公开数据集中,都会将数据集分为训练集,验证集和测试集,看起来验证集和测试集并没有区别,为什么要分这两个呢? 作者/ ...
神经网络训练集和验证集的原理理解
今天在学习<python深度学习>的时候,看到了这么一段话: 评估模型的重点是将数据划分为三个集合:训练集.验证集和测试集.在训练数据上训练模型,在验证数据上评估模型.一旦找到了最佳参数, ...
【AI-1000问】训练为什么要分测试集和验证集？
往期视频(前往有三AI公众号观看) 为什么要分训练集和测试集呢? 在很多的书以及一些公开数据集中,都会将数据集分为训练集,验证集和测试集,看起来验证集和测试集并没有区别,为什么要分这两个呢? 作者/编 ...
csv数据，已区分训练集和验证集，需要用r语言建立随机森林回归模型，计算模型精度，包括训练集和验证集的r方、mae、rmse
csv数据,已区分训练集和验证集,需要用r语言建立随机森林回归模型,计算模型精度,包括训练集和验证集的r方.mae.rmse #读取训练集 train <- read.csv("tra ...
机器学习中为什么需要验证集，验证集与测试集的区别是什么？
目录 1.为什么需要验证集 2.验证集与测试集的区别 3.如何使用验证集 4.为什么验证集和测试集都需要? 参考链接 1.为什么需要验证集在机器学习中,训练模型时需要调节模型的参数来提高模型的性能, ...
最全！最完整的求first集和follow的代码！！！编译原理 FIRST集和FOLLOW集的求法代码，程序，实验报告
DEV C++ 项目实现不会建项目的看这个-->如何创建项目代码链接:https://pan.baidu.com/s/1VNdrSMXaKu3HI0UQ_TInUQ 提取码:b1qz 使用教 ...
LL(1)文法中FIRST集和FOLLOW集的计算方法
文章目录深入理解 FIRST集的定义 FIRST集的实际意义 FIRST集的计算方法 FOLLOW集的定义 FOLLOW集的实际意义 FOLLOW集的计算方法预测分析表的实质 LL(1)文法的判断 ...
如何正确使用机器学习中的训练集、验证集和测试集？
王树义读完需要 19 分钟速读仅需7分钟训练集.验证集和测试集,林林总总的数据集合类型,到底该怎么选.怎么用?看过这篇教程后,你就能游刃有余地处理它们了. 1 问题审稿的时候,不止一次,我遇到 ...
【入门篇】如何正确使用机器学习中的训练集、验证集和测试集？
[注] ·本文为转载文章,原文作者是王树义老师,原文链接为 https://zhuanlan.zhihu.com/p/71961236 训练集.验证集和测试集,林林总总的数据集合类型,到底该怎么选.怎 ...

[机器学习]三行代码快速划分交叉训练中训练集和验证集

使用numpy.random.choice()和set()快速划分交叉训练数据集

总结1: np.random.choice()

总结2: set()

总结3: batch training

[机器学习]三行代码快速划分交叉训练中训练集和验证集相关推荐

最新文章

热门文章