机器学习中遇到的问题

1、ImportError: libcublas.so.9.0: cannot open shared object file: No such file or directory

找不到so库文件

用自己的账户运行包会报上面的错误，但是用root账户运行却没有问题

原因：root账户里面的LD_LIBRARY_PATH路径能找到这个so文件，但是自己的账户的LD_LIBRARY_PATH路径下找不到

解决办法：在~/.bashrc文件中添加： export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

2、对训练好的模型部署tornado服务

第一次http请求的时候正常，但是第二次请求的时候会报如下错误：

ValueError: Variable rnn/multi_rnn_cell/cell_0/gru_cell/gates/kernel already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Originally defined at:

解决办法：

在代码的开始清除计算graph：

tf.reset_default_graph()

3、训练模型时候的输入格式的问题

训练的模型是为了预测，训练好的模型可能会部署成服务，那么为了更好的兼容调用方的传参方式，模型的输入类型最好尽可能的接近调用方的传参方式。

比如：我的模型一开始设计的传参方式是摘要，基本信息，正文等分词后的文档的id表示，这种情况下，调用方调用的时候肯定无法传这样的参数

办法：应该将调用方可能传参的格式作为模型的输入，所有的参数的处理方到模型内部去。

4、Data is not binary and pos_label is not specified

相关代码：

all_data = handle_all_data()all_data = np.array(all_data, dtype=np.float64)train_data = all_data[: 1000000]test_data = all_data[1000000:]model_svm = svm.SVC(kernel='rbf', C=1.0)train_x = train_data[:, :-1]train_label = train_data[:, -1]model_svm.fit(train_x, train_label)print cross_val_score(model_svm, train_x, train_label, cv=10, scoring='roc_auc')

用svm模型来训练，错误原因是train_x和train_label 中的特征值是字符串

错误位置：np.array在将数组特征转换的时候，没有指定dtype，所以这个方法默认会把特征转换成字符串类型的，需要加上dtype=np.float64来指明特征值的类型

5、模型fit的时候报错

错误：ValueError: Unknown label type: 'continuous'

原因：模型是分类问题，对y做了标准化

x_scaled = preprocessing.StandardScaler().fit_transform(x)#y因为是分类，所以这里不要标准化，标准化后会变成浮点数y_scaled = preprocessing.StandardScaler().fit_transform(y.reshape(-1, 1))

说明：在y是预测一个值的时候进行标准化是可以的，但是如果y是预测的分类，则不要用标准化

6、执行fit时报错

代码： preprocessing.StandardScaler().fit(norm_x)

错误：ValueError: Input contains NaN, infinity or a value too large for dtype('float64')

基于错误说明，说明数据中可能存在空值，无限大的值等，我的代码中是某些出现了空值，通过查看数据的分布即可知道是否有空值

(pdb) all_data.describe() ，可以得到如下结果

count行的值是每个字段不为空的值的总数，如果某个字段的count值少于样本总数，那说明这个字段存在空值

7、用matplotlib时报错

错误：ImportError: No module named Tkinter

解决办法：添加如下黑体部分

import matplotlibmatplotlib.use('agg')import matplotlib.pyplot as plt

机器学习中遇到的问题相关推荐

机器学习中使用的交叉熵（cross entropy）透彻分析
从字面分析交叉熵,1是交叉.2是熵(熵与信息量有关):首先交叉熵涉及信息论里面的东西,想要彻底理解交叉熵就要明白此概念跟信息量的关系以及里边的熵怎么理解. (1)信息量衡量信息量可以用大小或者多少来 ...
机器学习中的数学基础（4.1）：支持向量机Support Vector Machine（SVM）
SVM可以说是一个很经典的二分类问题,属于有监督学习算法的一种.看过那么多的博客知乎解释SVM我一定要自己总结一篇,加深一下自己的理解. 带着问题去读文章会发现,柳暗花明又一村,瞬间李敏浩出现在眼前的 ...
机器学习中的数学基础：(3)主成分分析（PCA）及其应用
主成分分析主要用于数据的降维?什么是降维? 比如说有如下的房价数据: 这种一维数据可以直接放在实数轴上: 房价样本数据用X表示,则以上数据的均值为: 以均值为原点: 将上述表格以均值,做&quo ...
机器学习中的模型评价、模型选择及算法选择
链客,专为开发者而生,有问必答! 此文章来自区块链技术社区,未经允许拒绝转载. 正确使用模型评估.模型选择和算法选择技术无论是对机器学习学术研究还是工业场景应用都至关重要.本文将对这三个任务的相关技术 ...
机器学习中的梯度下降法
1. 机器学习中为什么需要梯度下降梯度下降是机器学习中常见优化算法之一,梯度下降法有以下几个作用: (1)梯度下降是迭代法的一种,可以用于求解最小二乘问题. (2)在求解机器学习算法的模型参数,即无 ...
一文介绍机器学习中的三种特征选择方法
作者 | luanhz 来源 | 小数志导读机器学习中的一个经典理论是:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.也正因如此,特征工程在机器学习流程中占有着重要地位.广义的特征 ...
机器学习中的7种数据偏见
作者 | Hengtee Lim 翻译 | Katie,责编 | 晋兆雨出品 | AI科技大本营头图 | 付费下载于视觉中国机器学习中的数据偏差是一种错误,其中数据集的某些元素比其他元素具有更大 ...
机器学习中，梯度下降算法的问题引入
来源 | 动画讲编程今天讲解的内容是梯度下降算法. 梯度下降算法在机器学习中的应用十分广泛,该算法的最主要目的是通过迭代的方法找到目标函数的最小值,经常用来解决线性回归和逻辑回归等相关问题.本节课主 ...
机器学习中的线性回归，你理解多少？
作者丨algorithmia 编译 | 武明利,责编丨Carol 来源 | 大数据与人工智能(ID: ai-big-data) 机器学习中的线性回归是一种来源于经典统计学的有监督学习技术.然而,随着机 ...
一文看懂机器学习中的常用损失函数
作者丨stephenDC 编辑丨zandy 来源 | 大数据与人工智能(ID: ai-big-data) 导语:损失函数虽然简单,却相当基础,可以看做是机器学习的一个组件.机器学习的其他组件,还包括激 ...

机器学习中遇到的问题

机器学习中遇到的问题相关推荐

最新文章

热门文章