Tensorflow：tf.contrib.lookup索引构建和查询

ndex_to_string_table_from_file和index_table_from_file

py3。从文件中构建int->string映射和string->int映射，分别返回tf.contrib.lookup.HashTable对象和tf.contrib.lookup.IdTableWithHashBuckets对象，其中的属性及函数参考链接。

但是index_to_string_table_from_file和index_table_from_file都返回的hashtable的key的字符串居然是bytes类型，不是str，可能是因为tf.string默认是utf-8编码的bytes，而不是py3的unicode。

输入：

B-DET
B-TYPE
E-DET
E-TYPE
I-DET
I-TYPE
O
S-DET
S-TYPE
工

代码及输出：

import tensorflow as tfindices = tf.constant([1, 5, 9], tf.int64)
reverse_vocab_tags = tf.contrib.lookup.index_to_string_table_from_file('vocab.tags.txt')values1 = reverse_vocab_tags.lookup(indices)
values = reverse_vocab_tags.export()
with tf.Session() as sess:tf.tables_initializer().run()print(values1.eval())print(sess.run(values))

[b'B-TYPE' b'I-TYPE' b'\xe5\xb7\xa5']
(array([9, 8, 7, 6, 5, 4, 3, 2, 1, 0]), array([b'\xe5\xb7\xa5', b'S-TYPE', b'S-DET', b'O', b'I-TYPE', b'I-DET',
b'E-TYPE', b'E-DET', b'B-TYPE', b'B-DET'], dtype=object))

import tensorflow as tffeatures = tf.constant(['工', 'a', 'O', 'b'])
# print(type('工')) # str
reverse_vocab_tags = tf.contrib.lookup.index_table_from_file('vocab.tags.txt', key_dtype=tf.dtypes.string, num_oov_buckets=1)values = reverse_vocab_tags.lookup(features)
with tf.Session() as sess:tf.tables_initializer().run()print(values.eval())

[ 9 10 6 10]

[tf.contrib.lookup.index_table_from_file]

[tf.contrib.lookup.index_to_string_table_from_file]

from: -柚子皮-

ref:

Tensorflow：tf.contrib.lookup索引构建和查询相关推荐

TensorFlow——tf.contrib.layers库中的相关API
在TensorFlow中封装好了一个高级库,tf.contrib.layers库封装了很多的函数,使用这个高级库来开发将会提高效率,卷积函数使用tf.contrib.layers.conv2d,池化函 ...
TensorFlow学习笔记12----Creating Estimators in tf.contrib.learn
原文教程:tensorflow官方教程记录关键内容与学习感受.未完待续.. Creating Estimators in tf.contrib.learn --tf.contrib.learn框架, ...
TensorFlow tf.data 导入数据（tf.data官方教程） * * * * *
原文链接:https://blog.csdn.net/u014061630/article/details/80728694 TensorFlow版本:1.10.0 > Guide > I ...
Tensorflow高级API的进阶--利用tf.contrib.learn建立输入函数
正文共5958个字,预计阅读时间15分钟. 笔记整理者:王小草笔记整理时间:2017年2月27日笔记对应的官方文档:https://www.tensorflow.org/get_started/i ...
tensorflow兼容处理 tensorflow.compat.v1 tf.contrib
20201130 问题提出: v1版本中tensorflow中contrib模块十分丰富,但是发展不可控,因此在v2版本中将这个模块集成到其他模块中去了.在学习tensorflow经常碰到tf.con ...
tensorflow 图像教程の TF Layers 教程：构建卷积神经网络
文章目录 TF Layers 教程:构建卷积神经网络卷积神经网络的简介构建基于卷积神经网络的 MNIST 分类器输入层第一个卷积层第一个池化层第二个卷积层和池化层全连接层 Logits ...
重磅 | TensorFlow 2.0即将发布，所有tf.contrib将被弃用
作者 | 阿司匹林出品 | AI科技大本营(公众号ID:rgznai100) 上周,谷歌刚刚发布了 TensorFlow 1.10.0 版本(详见<TensorFlow 版本 1.10.0 发 ...
TensorFlow高层次机器学习API (tf.contrib.learn)
TensorFlow高层次机器学习API (tf.contrib.learn) 1.tf.contrib.learn.datasets.base.load_csv_with_header 加载csv格 ...
Tensorflow：tf.contrib.rnn.DropoutWrapper函数(谷歌已经为Dropout申请了专利！)、MultiRNNCell函数的解读与理解
Tensorflow:tf.contrib.rnn.DropoutWrapper函数(谷歌已经为Dropout申请了专利!).MultiRNNCell函数的解读与理解目录 1.tf.contrib. ...
TF学习——TF之API：TensorFlow的高级机器学习API—tf.contrib.learn的简介、使用方法、案例应用之详细攻略
TF学习--TF之API:TensorFlow的高级机器学习API-tf.contrib.learn的简介.使用方法.案例应用之详细攻略目录 tf.contrib.learn的简介 tf.contr ...

Tensorflow：tf.contrib.lookup索引构建和查询

Tensorflow：tf.contrib.lookup索引构建和查询相关推荐

最新文章

热门文章