用Unary传大文件必崩,必须选对流类型、显式调大缓冲、手动分块读写、避免复用proto实例;stream关键字位置决定流类型,错写将导致接口完全不可用。
直接结论:用 unary 传大文件必崩,必须选对流类型、显式调大缓冲、手动分块读写、避免复用 proto 实例——否则不是卡死就是 oom。
proto 中
关键字位置写错,生成的 Go 接口就完全不能用
gRPC 流类型不靠注释或文档判断,只由
在
声明中的位置硬决定。写错一个字,
生成的 Go 接口方法名、Send/Recv 能力、甚至是否支持流都会错乱:
服务端流:必须是
—— 客户端调
多次,服务端只调一次
启动流
客户端流:必须是
—— 客户端反复
,服务端等收完才
一次结果
双向流:必须是
—— 双方各自
/
,互不阻塞
常见错误:
写成
,结果生成的是服务端流接口,但业务需要客户端流,调
永远等不到数据
客户端分块发送时,
不是“发完就完”,必须检查返回 err
是同步阻塞调用,网络中断、流关闭、消息超限都会立刻返回 error。不检查就继续循环,下一次
会 panic 或静默失败:
别用
一次性读整个文件再塞进
—— 这等于又回到 Unary 模式,几十 MB 就触发 OOM
正确做法:开固定 buffer(如
),用
分块读,每次构造新
实例(别复用!)再
必须在每次
后判断:
;遇到
才退出循环
buffer 太小(如 4KB)导致 gRPC header 开销占比飙升;太大(如 2MB)易触达默认 4MB
限制
服务端接收流不能靠
,得用带超时的
看似简洁,但底层是 channel 风格封装,一旦某次
卡住(如网络抖动、中间件断连),整个 goroutine 就永久挂起,无法响应超时或心跳:
正确模式:用
+
,配合
控制单次等待时长(建议 ≥30s)
每个
必须含
和单调递增的
字段,服务端用
缓存乱序块,收到
才初始化临时文件
收到 chunk 后别直接拼内存,立刻
落盘;校验
失败则返回
别在
循环里做 fsync —— 频繁刷盘会拖垮吞吐;可每 10MB 或 5 秒 batch sync 一次
不显式调大
和
,4MB 就断连
gRPC 默认收发消息上限是 4MB(
字节),超过直接报错:
。这不是配置问题,是硬限制:
go语言参考手册 中文CHM版
Go 是一个开源的编程语言,它能让构造简单、可靠且高效的软件变得容易。本文给大家带来Go参考手册,需要的可以来下载! Go是从2007年末由Robert Griesemer, Rob Pike, Ken Thompson主持开发,后来还加入了Ian Lance Taylor, Russ Cox等人,并最终于2009年11月开源,在2012年早些时候发布了Go 1稳定版本。现在Go的开发已经是完全开放的,并且拥有一个活跃的社区。 Go 语言特色 简洁、快速、安全 并行、有趣、开源 内存管理、v数组安全、编译
下载
立即学习
“
go语言免费学习笔记(深入)
”;
客户端 dial 时必须加选项:
服务端
也要加:
如果走 Nginx/Envoy,还得同步调大其 HTTP/2 frame size 和 timeout(默认常为 60s),否则传输到 70% 就被中间件静默断开
别信“调大 buffer 就能自动分片”——gRPC 不会帮你切包,chunk size 是你代码控制的,buffer 和 max msg size 是两回事
最易被忽略的一点:所有流式调用都必须复用
,绝不能每次上传都
新建连接。连接建立开销大,且 HTTP/2 流控状态无法继承,频繁新建会导致伪超时和连接雪崩。
streamstreamrpcprotocrpc GetLogs(LogRequest) returns (stream LogResponse)Recv()Send()rpc Upload(stream Chunk) returns (UploadResult)Send()Send()rpc Sync(stream FileChunk) returns (stream SyncAck)Send()Recv()rpc Upload(stream Chunk) returns (UploadResult)rpc Upload(Chunk) returns (stream UploadResult)Recv()Send()Send()Send()os.ReadFile()Send()make([]byte, 256*1024)bufio.NewReader(file).Read()*pb.ChunkSend()Send()if err != nil { return err }io.EOFmaxReceiveMessageSizefor range stream.Recv()RecvMsg()for range stream.Recv()Recv()selectstream.RecvMsg(&msg)context.WithTimeout()Chunkoffsetseqmap[int]*pb.Chunkseq == 0os.WriteAt(data, offset)checksumstatus.Error(codes.Aborted, "checksum mismatch")Recv()grpc.MaxRecvMsgSizegrpc.MaxSendMsgSize4194304rpc error: code = ResourceExhausted desc = grpc: received message larger than max (X vs 4194304)grpc.Dial("...", grpc.WithDefaultCallOptions(grpc.MaxSendMsgSize(64 * 1024 * 1024)))grpc.NewServer()grpc.MaxRecvMsgSize(64 * 1024 * 1024)*grpc.ClientConngrpc.Dial()