Tensorflow矩阵过大问题的解决

问题：推荐系统中，用户和物品矩阵进行embedding，但矩阵过大时，超过2G时，会有如下提示

ValueError: Cannot create a tensor proto whose content is larger than 2GB.

出现问题的代码语句是：

self.user_item_embedding = tf.convert_to_tensor(matrix)

matrix是一个numpy的大型矩阵。

解决：

matrix_init = tf.placeholder(tf.float32, shape=(self.shape[0], self.shape[1]))
matrixV = tf.Variable(matrix_init)
self.user_item_embedding = tf.convert_to_tensor(matrixV)

先构建占位符，在设置变量，并在sess.run时赋予：

elf.sess.run(tf.global_variables_initializer(), feed_dict={matrix_init: matrix})

参考：

https://stackoverflow.com/questions/51470991/create-a-tensor-proto-whose-content-is-larger-than-2gb

https://stackoverflow.com/questions/35394103/initializing-tensorflow-variable-with-an-array-larger-than-2gb

Tensorflow矩阵过大问题的解决相关推荐

GPU运行Tensorflow详细教程及错误解决
GPU运行Tensorflow详细教程及错误解决前提条件配置GPU运行确认是否成功配置出现的错误及解决方案前提条件最重要的一点:CUDA与tensorflow的版本一点要对应,不然用不了! ...
Tensorflow学习笔记6：解决tensorflow训练过程中GPU未调用问题
Tensorflow学习笔记6:解决tensorflow训练过程中GPU未调用问题参考文章: (1)Tensorflow学习笔记6:解决tensorflow训练过程中GPU未调用问题 (2)http ...
CPU与CUDA(GPU)的计算能力对比之一: Tensorflow矩阵乘
CPU与CUDA(GPU)的计算能力对比之一: Tensorflow矩阵乘结论: 1.Tensorflow 矩阵乘场景,CUDA 的效率是 CPU 的 1000 倍以上. 2. 测试过程中: GPU ...
【机器学习入门笔记10：TensorFlow矩阵基础】20190217
2019-02-17 by 崔斐然 #pacehold 实现算术操作:运算时实时插入 #placehold import os import tensorflow as tf os.environ[ ...
动态卷积效率低？UCSD微软用矩阵分解的方法解决了这个问题，性能还更高！（ICLR2021）...
关注公众号,发现CV技术之美 ▊ 写在前面最近,动态卷积方面的研究表明,K个静态卷积核的自适应聚合,可以使得CNN的性能显著提高.然而,它有两个局限性:(a)它将卷积权重的数量增加了k倍 ,(b)动 ...
如何在配置低的老旧笔记本的win7系统上安装tensorflow及报错信息解决方法集锦
这该死的TensorFlow,前前后后折腾了我两周才把它装好.大家不要笑话我,我确实是个小白,还是一个学土木工程的小白,并不是计算机.数学.统计学专业之类的的出生,我只想自学一下机器学习,了解一下人工 ...
AttributeError: module 'tensorflow' has no attribute 'Session'.解决办法
# 定义计算图 tens1 = tf.constant([1,2,3])# 创建一个会话 sess = tf.Session()# 使用这个创建好的会话来得到关心的运算的结果.比如可以调用 sess. ...
【TensorFlow学习笔记】完美解决 pip3 install tensorflow 没有models库，读取PTB数据
安装tensorflow 我使用的是最最最简单的容易的 pip3 install <TensorFlow学习笔记> 一. 安装win10下python3.6的tensorflow的CPU版 ...
jupyter notebook import tensorflow as tf 报错解决
在anaconda5.2.0下安装tensorflow完毕,在cmd下测试成功,但是在jupyter notebook中测试报错:大意是找不到指定的模块 python版本为3.6.5 解决方法: 1 ...

Tensorflow矩阵过大问题的解决

Tensorflow矩阵过大问题的解决相关推荐

最新文章

热门文章