在PyCharm中大型数据集indexing...加载缓慢的问题

在PyCharm中大型数据集indexing…加载缓慢的问题

这是由于在工程目录data下导入了过大的NTU-RGBD(13.4G)骨骼数据集导致的加载缓慢问题，在加载过程中有可能会出现以下问题：
1、软件提示：Low Memory
The IDE is running low on memory and this might affect performance. Please consider increasing available heap.
Analyze Memory Use Configure。
这是由于pycharm IDE默认设置的运行内存不够大，需要我们将它改大一些。
解决方法：在pycharm页面上方找到help–>Find Action，点击进去输入Edit Custom VM Options

点进Edit Custom VM Options之后找到-Xmx这个参数并将它修改大一点，这里面有两个参数-Xms128m、-Xmx4096m，前者是设置的pycharm这个软件启动时所需要的最大内存，后者是软件运行时可以用到的最大内存。起初我的Xmx是2048m，现在我设置为了4096m，已经足够我的工程运行了。
2、当导入数据集的时候，indexing进度条基本没动，积极缓慢。这可能是由于你多次启停导入而导致的中途停滞。这个时候可以选择pycharm页面左上角File->Invalidate and Restart，点击Invalidate and Restart，工程将会将之前导入的信息清除并会重新导入数据，这个过程虽然也有点慢，但至少可以看见indexing的进度条在缓慢运行了，大概一个半小时左右。

在PyCharm中大型数据集indexing...加载缓慢的问题相关推荐

蜡炬教育：如何处理机器学习中大型数据的加载问题？
原标题:蜡炬教育:如何处理机器学习中大型数据的加载问题? 蜡炬教育老师表示,在处理机器学习算法时,经常会因为数据库太大而导致无法放入内存中,而遇到这样几个问题:当运行数据集算法而导致崩溃时如何解决?当 ...
动手学深度学习第九节softmax回归中FashionMNIST数据集无法加载的解决方法
在电脑上运行本节代码时最开始下载FashionMNIST时出了问题,自己折腾了很长时间才加载出本地数据集,希望给同样遇到问题的朋友以参考. 环境:VScode 直接下载时出现问题(响应时间过长,未完成 ...
第5章【思考与练习2】将数据集划分为训练集与测试集，查看决策树分类器的性能。将例5-3中的分类器保存到文件中，然后重新加载预测给出的新数据。
P101思考与练习2 1.将数据集划分为训练集与测试集,查看决策树分类器的性能. #1. #划分为测试集与训练集 import pandas as pd data = pd.read_csv('dat ...
python从date目录导入数据集_PyTorch加载自己的数据集实例详解
数据预处理在解决深度学习问题的过程中,往往需要花费大量的时间和精力. 数据处理的质量对训练神经网络来说十分重要,良好的数据处理不仅会加速模型训练, 更会提高模型性能.为解决这一问题,PyTorch提供 ...
深度学习修炼（二）——数据集的加载
文章目录致谢 2 数据集的加载 2.1 框架数据集的加载 2.2 自定义数据集 2.3 准备数据以进行数据加载器训练致谢 Pytorch自带数据集介绍_godblesstao的博客-CSDN博客_ ...
keras训练完以后怎么预测_一文告诉你如何将Keras模型保存到文件中，并再次加载它们来进行预测。...
Keras是一个用于深度学习的简单而强大的Python库. 鉴于深度学习模式可能需要数小时.数天甚至数周的时间来培训,了解如何保存并将其从磁盘中加载是很重要的. 在本文中,您将发现如何将Keras模型 ...
excel2007无法加载mysql_Excel2007中进行无法安装加载项的解决方法
最近在学数学模型,用规划求解来计算.以前用Excel XP,知道在工具中加载相关的宏,然后很顺利地就能求解.但是用Excel 2007就找不到北了,今天,学习啦小编就教大家在Excel2007中进行无 ...
其原因可能是堆被损坏，这也说明 xxx.exe 中或它所加载的任何 DLL 中有 bug
1.代码如下: string src ="abcdabcd"; char* dst = new char[8]; strcpy(dst,src.c_str()); delete[] ...
【Java 虚拟机原理】Java 类中的类加载初始化细节 ( 只使用类中的常量时加载类不会执行到 ‘初始化‘ 阶段 )
文章目录一.类加载初始化时机二.常量加载示例三.数组加载示例一.类加载初始化时机类加载时机 : Java 程序执行时 , 并不是一开始将所有的字节码文件都加载到内存中 , 而是用到时才进行加 ...

在PyCharm中大型数据集indexing...加载缓慢的问题

在PyCharm中大型数据集indexing…加载缓慢的问题

在PyCharm中大型数据集indexing...加载缓慢的问题相关推荐

最新文章

热门文章