python运行内存不足_python svm内存不足怎么解决？

支持向量机(Support Vector Machine, SVM)是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器。

在python中使用SVM处理大数据时可能会遇到内存不足的情况，新我们就来看一下如何解决内存不足的问题：

我们可以使用python分块读取大数据来避免内存不足，实现代码如下：import pandas as pd

def read_data(file_name):

'''

file_name:文件地址

'''

inputfile = open(file_name, 'rb') #可打开含有中文的地址

data = pd.read_csv(inputfile, iterator=True)

loop = True

chunkSize = 1000 #一千行一块

chunks = []

while loop:

try:

chunk = data.get_chunk(chunkSize)

chunks.append(chunk)

except StopIteration:

loop = False

print("Iteration is stopped.")

data = pd.concat(chunks, ignore_index=True)

#print(train.head())

return data

更多Python知识请关注云海天python教程网

python运行内存不足_python svm内存不足怎么解决？相关推荐

python itertools卡死_Python使用itertools模块来解决算法问题,python
重新排列数组给你一个数组 nums ,数组中有 2n 个元素,按 [x1,x2,-,xn,y1,y2,-,yn] 的格式排列. 请你将数组按 [x1,y1,x2,y2,-,xn,yn] 格式重新排列 ...
python查看运行内存占用_python中使用psutil查看内存占用的情况
有的时候需要对python程序内存占用进行监控,这个时候可以用到psutil库,Anaconda中是自带的,如果import出错,可以用pip install psutil(安装在python中)或c ...
当退出python时是否释放全部内存_Python面试题：高级特性考察
1.函数装饰器有什么作用?请列举说明? 答: 装饰器就是一个函数,它可以在不需要做任何代码变动的前提下给一个函数增加额外功能,启动装饰的效果. 它经常用于有切面需求的场景,比如:插入日志.性能测试.事 ...
当退出python时是否释放全部内存_python 关于高级特性的问题
1.函数装饰器有什么作用?请列举说明? 2. Python 垃圾回收机制? 3. 魔法函数 _call_怎么使用? 4. 如何判断一个对象是函数还是方法? 5. @classmethod 和 @sta ...
python会内存泄漏吗_Python内存泄漏和内存溢出的解决方法
Python内存泄漏和内存溢出的解决方法发布时间:2020-10-30 23:08:34 来源:亿速云阅读:92 作者:Leah 这篇文章将为大家详细讲解有关Python内存泄漏和内存溢出的解决方 ...
python内存持续增长_Python 进程内存增长解决方案
一.表现运行环境: # uname –a Linux ** 3.10.0-327.el7.x86_64 #1 SMP Thu Nov 19 22:10:57 UTC 2015 x86_64 x86_ ...
python查看运行内存占用_利用Python如何实时检测自身内存占用
前言最近在做文本统计,用 Python 实现,遇到了一个比较有意思的难题--如何保存统计结果. 直接写入内存实在是放不下,十几个小时后内存耗尽,程序被迫关闭.如果直接写入数据库吧,每次写入又太慢了, ...
【Python机器学习】之 SVM 支持向量机算法（二）
SVM 支持向量机(二) 1.支持向量机这样,由于w,x\mathbf{w,x}w,x初始值的不同,最后得到的分割超平面也有可能不同,那么一定存在一个最优的超平面,这种方法就是支持向量机. ...
Python学习教程（Python学习视频_Python学些路线）：Day05 总结和练习
Python学习教程(Python学习视频_Python学些路线):总结和练习练习清单寻找"水仙花数". 寻找"完美数". "百钱百鸡" ...
python 释放变量所指向的内存_通俗易懂的Python垃圾回收机制及内存管理
Python垃圾回收机制及内存管理内存管理: 先定义一个变量 name='wxl' 那么python会在内存中开辟一小块区域存放"wxl",此时变量的值是我们真正想要存储的,wx ...

python运行内存不足_python svm内存不足怎么解决？

python运行内存不足_python svm内存不足怎么解决？相关推荐

最新文章

热门文章