TensorFlow serving远程访问引擎的容器部署

2019独角兽企业重金招聘Python工程师标准>>>

TensorFlow Serving是通过rpc接口远程访问tensorflow引擎的服务器。

TensorFlow Serving文档 https://tensorflow.github.io/serving/architecture_overview

TensorFlow Serving可以通过容器启动，方法如下：

docker run --name tfserver --restart always tensorflow/tf_grpc_server:0.8.0 \--cluster_spec="worker|localhost:2220;localhost:2221,ps|localhost:3220;localhost:3221" \--job_name=worker --task_id=0

详细的TensorFlow Serving容器构建方法参考： https://github.com/openthings/serving/blob/master/tensorflow_serving/g3doc/setup.md
在分布式环境中运行TensorFlow的详细指南： https://www.tensorflow.org/how_tos/distributed/#distributed-tensorflow

转载于:https://my.oschina.net/u/2306127/blog/829734

TensorFlow serving远程访问引擎的容器部署相关推荐

nvidia-docker2完成tensorflow/serving深度学习模型在线部署
深度学习技术已经广泛应用在各个行业领域.实际应用,通过大量数据往往可以训练一个泛化能力好的模型,但如何将模型进行快捷.方便的远程部署,已成为好多企业考虑的问题.现阶段,常用的深度学习模型远程部署工具有 ...
用Docker容器自带的tensorflow serving部署模型对外服务
相信很多人和我一样,在试图安装tensorflow serving的时候,翻遍了网上的博客和官网文档,安装都是以失败而告终,我也是一样,这个问题折磨了我两个星期之久,都快放弃了.幸运的是在同事的建议下 ...
用Docker容器自带的tensorflow serving部署模型对外服务（成功率100%）
前传: 相信很多人和我一样,在试图安装tensorflow serving的时候,翻遍了网上的博客和官网文档,安装都是以失败而告终,我也是一样,这个问题折磨了我两个星期之久,都快放弃了.幸运的是在同事 ...
TensorFlow Serving + Docker + Tornado机器学习模型生产级快速部署
点击上方"AI搞事情"关注我们内容转载自知乎:https://zhuanlan.zhihu.com/p/52096200 Justin ho 〉本文将会介绍使用TensorFl ...
使用tensorflow serving部署keras模型（tensorflow 2.0.0）
点击上方"AI搞事情"关注我们内容转载自知乎:https://zhuanlan.zhihu.com/p/96917543 Justin ho 〉 Tensorflow 2.0.0 ...
构建并用 TensorFlow Serving 部署 Wide Deep 模型
Wide & Deep 模型是谷歌在 2016 年发表的论文中所提到的模型.在论文中,谷歌将 LR 模型与深度神经网络结合在一起作为 Google Play 的推荐获得了一定的效果.在这篇 ...
Win10 基于Docker使用tensorflow serving部署模型
目录安装Docker for Windows 安装 tensorflow-serving-api tensorflow serving on docker 测试tf server 方法3:grpc ...
tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 4.11 综合案例:模型导出与部署学习目标目标掌握Ten ...
tensorflow/serving部署keras的h5模型服务
当我们使用keras训练好模型之后,下一步就是部署服务了,采用flask直接加载keras的h5模型,服务的并发性能会很低.如果为了追求高并发性能,就可以采用Nginx+gunicorn+gevent ...

TensorFlow serving远程访问引擎的容器部署

TensorFlow serving远程访问引擎的容器部署相关推荐

最新文章

热门文章