grpc流式传输心得

https://www.jianshu.com/p/43fdfeb105ff （很好的一篇简书）

https://www.grpc.io/docs/tutorials/basic/python/（官方文档）

实习之后的第一篇博客，导师让我研究grpc流式传输，真的是折腾了n天，慢的像只蜗牛。。。

实现流式传输的关键代码是这一段，在服务器上可以一秒内把110MB的文本传输到另一个文本。

size=2190304
# 把文本转换为request
def request_from_db(text):tmp=""for line in text:tmp+=lineif len(tmp)>=size:request = helloworld_pb2.HelloRequest(text=tmp)tmp=""yield requestrequest = helloworld_pb2.HelloRequest(text=tmp)yield request

# hello_db.pydef read_hello_db():with open('/root/model/hello_db.txt','r') as f:for line in f:yield line

helloworld.proto

// [python quickstart](https://grpc.io/docs/quickstart/python.html#run-a-grpc-application)
// python -m grpc_tools.protoc --python_out=. --grpc_python_out=. -I. helloworld.proto
// python helloworld_grpc_server.py
// python helloworld_grpc_client.py
// helloworld.proto
syntax = "proto3";
service Greeter {rpc HelloChat(stream HelloRequest) returns (stream HelloReply){}
}message HelloRequest {string text = 1;
}message HelloReply{string text =1;
}

helloworld_grpc_server.py

# -*-coding:utf-8-*-
from concurrent import futures
import time
import grpc
import helloworld_pb2
import helloworld_pb2_grpc
import hello_db# 实现 proto 文件中定义的 GreeterServicer
class Greeter(helloworld_pb2_grpc.GreeterServicer):def __init__(self):self.db = hello_db.read_hello_db()# 实现 proto 文件中定义的 rpc 调用# 传入request 返回responsedef HelloChat(self, request_iterator, context):for request in request_iterator:response = helloworld_pb2.HelloReply(text = request.text)yield responsedef serve():# 启动 rpc 服务server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))helloworld_pb2_grpc.add_GreeterServicer_to_server(Greeter(), server)server.add_insecure_port('[::]:50051')server.start()try:while True:time.sleep(60*60*24) # one day in secondsexcept KeyboardInterrupt:server.stop(0)if __name__ == '__main__':serve()

helloworld_grpc_client.py

# -*-coding:utf-8-*-
import grpc
import helloworld_pb2
import helloworld_pb2_grpc
import hello_db
import time
size=2190304
# 把文本转换为request
def request_from_db(text):tmp=""for line in text:tmp+=lineif len(tmp)>=size:request = helloworld_pb2.HelloRequest(text=tmp)tmp=""yield requestrequest = helloworld_pb2.HelloRequest(text=tmp)yield requestdef run():# 连接 rpc 服务器start_time1 = time.time()channel = grpc.insecure_channel('localhost:50051')# 调用 rpc 服务stub = helloworld_pb2_grpc.GreeterStub(channel)req = request_from_db(hello_db.read_hello_db())start_time2 = time.time()response = stub.HelloChat(req)elapsed_time2 = int(time.time() - start_time2)print(elapsed_time2)with open('/root/model/write_db.txt', 'w') as f:for item in response:f.write(item.text)elapsed_time1 = int(time.time() - start_time1)print(elapsed_time1)if __name__ == '__main__':run()

2019.7.9开始痛并快乐着的实习生涯，有收获，也有迷茫。加油把！

grpc流式传输心得相关推荐

grpc 流式传输_编写下载服务器。第一部分：始终流式传输，永远不要完全保留在内存中...
grpc 流式传输下载各种文件(文本或二进制文件)是每个企业应用程序的生死攸关的事情. PDF文档,附件,媒体,可执行文件,CSV,超大文件等.几乎每个应用程序迟早都必须提供某种形式的下载. 下载是 ...
grpc流式传输示例（c++)
目录 grpc理解流式传输方式 Attention grpc理解 grpc是结合protobuf的远程调用框架,服务端和客户端均支持同步和异步模式.同步模式下,服务器的service函数会阻塞,且当 ...
Socket编程（C语言实现）—— 为什么流式传输类似于管道？不区分边界？
1.管道实现: (1)代码实现:[root@localhost pipe]# cat pipe.c #include <stdio.h> #include <unistd.h> ...
xbox360链接pc_如何将实时电视从Xbox One流式传输到Windows PC，iPhone或Android Phone
xbox360链接pc Set up your Xbox One's TV integration and you can do more than just watch TV on your Xbo ...
基于ASP.NET Core SignalR的流式传输
基于ASP.NET Core SignalR的流式传输 SignalR概述 SignalR是ASP.NET Core下非常流行的实现Web实时功能的库.微软再文档中列出了适合的应用场景: 适合 Sig ...
ASP.NET Core SignalR中的流式传输
什么是流式传输? 流式传输是这一种以稳定持续流的形式传输数据的技术. 流式传输的使用场景有些场景中,服务器返回的数据量较大,等待时间较长,客户端不得不等待服务器返回所有数据后,再进行相应的操作.这时 ...
java流式传输对象_Java性能：面向教学与流式传输
java流式传输对象在for循环中向上或向下计数是最有效的迭代方式吗? 有时答案既不可行. 阅读这篇文章,了解不同迭代品种的影响. 迭代性能关于如何以高性能进行迭代有很多观点. Java中的传统迭 ...
java流式传输对象_使用Java 8在地图上流式传输
java流式传输对象在本文中,我将向您展示如何在标准Java映射上有效地实现Speedment Open Source流,并将Stream接口扩展为MapStream! 即使在复杂的情况下,此添加将 ...
spark 流式计算_流式传输大数据：Storm，Spark和Samza
spark 流式计算有许多分布式计算系统可以实时或近实时处理大数据. 本文将从对三个Apache框架的简短描述开始,并试图对它们之间的某些相似之处和不同之处提供一个快速的高级概述. 阿帕奇风暴在风 ...
Java：以CSV格式流式传输JDBC结果集
在上一篇文章中 ,我展示了如何将java.sql.ResultSet转换为JSON并将其流回调用方. 这篇文章是关于以CSV格式流式传输的. 流式传输使您可以一点一点地传输数据,而不必将所有数据都加载 ...

grpc流式传输心得

grpc流式传输心得相关推荐

最新文章

热门文章