序列化与网络协议:JSON、SFSObject、Protobuf、FlatBuffers 的原理与对比
网络传输的基础(TCP、长连接、粘包拆包)见 游戏网络基础。
一、序列化是什么
序列化:把内存中的对象转换成一串字节,以便通过网络发送或保存到文件。反序列化:把字节还原成对象。
客户端和服务器之间的每一条消息,都要经过”序列化 → 发送 → 接收 → 反序列化”。所以序列化格式直接影响:
- 流量:数据越小,传输越快,玩家越省流量;
- CPU:序列化和反序列化的速度,以及产生的 GC;
- 兼容性:协议升级后,新旧版本的客户端和服务器能否互通;
- 开发效率:是否需要预先定义结构、能否自动生成代码。
二、两大类格式
| 文本格式 | 二进制格式 | |
|---|---|---|
| 代表 | JSON、XML | Protobuf、SFSObject、MessagePack、FlatBuffers |
| 可读性 | 人可以直接阅读 | 需要工具解析 |
| 体积 | 大:数字以字符串形式存储,还有大量引号、括号、键名 | 小 |
| 速度 | 慢:要做字符串解析和数字转换 | 快 |
| 适合 | 调试、配置、Web 接口 | 游戏的实时通信 |
再按”是否需要预先定义结构(Schema)“细分:
| 自描述(不需要 Schema) | 基于 Schema | |
|---|---|---|
| 代表 | JSON、SFSObject、MessagePack | Protobuf、FlatBuffers |
| 数据中包含 | 字段名和类型 | 只有字段编号和值 |
| 灵活性 | 高:随时增减字段,不需要事先约定 | 需要先写好结构定义 |
| 体积 | 较大:每条消息都要带着字段名 | 小 |
| 代码 | 通过字符串键读写,容易拼错 | 自动生成强类型代码 |
三、SFSObject:自描述的键值格式
SmartFoxServer 中,消息使用 SFSObject 承载,它本质上是一个带类型的键值容器:
var data = new SFSObject();data.PutInt("hp", 100);data.PutUtfString("name", "LuxFire");data.PutIntArray("items", new[] { 1001, 1002 });
int hp = data.GetInt("hp");序列化原理:SFSObject 被编码成二进制时,大致是按”键名 + 类型标记 + 值”的方式依次写入每一项。类型标记告诉接收方后面的值是 int、字符串还是数组,接收方不需要事先知道结构就能解析出来。这就是”自描述”。SmartFoxServer 还会对超过一定大小的数据包自动压缩。
特点:
- 优点:不需要预先定义结构,服务器端(Java 扩展)和客户端直接按键名存取,增减字段非常方便。
- 缺点:
- 每条消息都带着所有的键名字符串,“hp”、“name” 这些字符串在每条消息中反复出现,消息越小、字段越多,这部分占比越高;
- 按字符串键读写,没有编译期检查,键名拼错只能在运行时发现;
- 读取时要做键名查找和类型判断,速度不如生成好的代码;
- 前后端要靠文档约定字段,缺少统一的协议定义。
四、Protobuf
结构定义
syntax = "proto3";
message PlayerInfo { int32 hp = 1; // 1 是字段编号,不是默认值 string name = 2; repeated int32 items = 3;}用 protoc 工具根据定义自动生成 C#、Java、Go 等各种语言的代码,前后端共享同一份协议文件。
编码原理
1. 用字段编号代替字段名
每个字段编码为 Tag + 值,Tag = (字段编号 << 3) | 线路类型。线路类型说明后面的值如何读取(变长整数、固定 4 或 8 字节、带长度前缀的数据)。字段名根本不出现在数据中。
2. Varint:小数字用少的字节
整数不是固定占 4 个字节,而是每个字节用低 7 位存数据,最高位表示”后面还有没有字节”:
数字 1 → 0000 0001 1 个字节数字 150 → 1001 0110 0000 0001 2 个字节 ↑ 最高位为 1:后面还有 ↑ 最高位为 0:结束 低 7 位 0010110 低 7 位 0000001 组合(低位在前):0000001 0010110 = 150游戏中大部分整数都很小(ID、数量、等级),通常 1 到 2 个字节就够了。
例如 hp = 150(字段编号 1)编码后只有 3 个字节:08 96 01。其中 08 是 Tag(1 << 3 | 0),96 01 是 150 的 Varint。
3. ZigZag:负数也能很短
负数的二进制最高位是 1,直接用 Varint 编码会占满 10 个字节。sint32 / sint64 类型使用 ZigZag 编码,把有符号数映射成无符号数:0 → 0,-1 → 1,1 → 2,-2 → 3……绝对值小的负数也能用很少的字节表示。可能为负的字段要用 sint32,而不是 int32。
4. 默认值不传输
proto3 中,值为默认值(0、空字符串、false)的字段不会被编码。
兼容性
接收方遇到不认识的字段编号时会跳过它。因此:
- 新增字段:旧版本的客户端会忽略它,新版本的客户端读取旧数据时,这个字段是默认值。新旧版本可以共存。
- 规则:已经使用过的字段编号不能修改含义,也不能复用;删除字段时,用
reserved保留它的编号和名字,防止以后被误用。
这对游戏很重要:服务器更新协议后,还没有更新的旧客户端仍然可以正常通信。
为什么 Protobuf 比 SFSObject 好
| SFSObject | Protobuf | |
|---|---|---|
| 字段标识 | 每条消息都带着键名字符串 | 只有 1 个字节左右的字段编号 |
| 整数 | 按类型固定长度 | Varint 变长,小数字只占 1 到 2 字节 |
| 体积 | 较大 | 更小 |
| 速度 | 运行时按键查找、判断类型 | 生成的代码直接按字段读写,更快 |
| 类型安全 | 字符串键,拼错运行时才发现 | 强类型,编译期检查 |
| 协议管理 | 靠文档约定 | .proto 文件作为前后端共同的协议定义 |
| 版本兼容 | 灵活,但缺少规则约束 | 有明确的兼容规则 |
| 跨语言 | 依赖 SmartFox 生态 | 几乎所有主流语言都支持 |
| 灵活性 | 更灵活,不需要预先定义 | 修改协议要重新生成代码 |
一句话:Protobuf 用”预先约定的结构”换来了更小的体积、更快的速度和类型安全;SFSObject 用体积和速度换来了不需要预先定义的灵活性。
五、其他格式
| 格式 | 特点 | 适合 |
|---|---|---|
| MessagePack | 二进制版的 JSON:自描述,但比 JSON 小、快;在 C# 中有高性能的实现 | 想要 JSON 的灵活性,又要更好的性能 |
| FlatBuffers | 数据在内存中的布局就是可直接访问的格式,读取时不需要反序列化(零拷贝),可以只读取需要的字段 | 大型、只读的数据,比如配置表;对读取速度极其敏感的场景 |
| JSON | 可读性最好 | 调试、Web 接口、小型配置 |
FlatBuffers 的代价是编码后体积比 Protobuf 大,构建数据的 API 也更繁琐,所以网络消息中更常用 Protobuf。
六、在 Unity 中使用
消息的边界:Protobuf 编码的数据本身不包含长度信息,接收方无法知道一条消息在哪里结束。通过 TCP 发送时,必须在外层加上长度前缀(见 粘包与拆包)。
C# 库的选择:
| 库 | 特点 |
|---|---|
| Google.Protobuf | 官方实现,通过 protoc 生成代码,对 IL2CPP 友好 |
| protobuf-net | 通过特性标记 C# 类即可,不需要 .proto 文件;但部分用法依赖运行时反射和动态代码生成,在 IL2CPP 下需要使用预编译的序列化器 |
减少 GC:
- 接收消息时复用消息对象:用
MergeFrom填充到一个已有的对象中,而不是每次 new 一个。 - 消息对象和缓冲区使用对象池。
- 频率很高的消息(比如帧同步中的每帧输入),字段尽量用整数,避免字符串和嵌套对象。
常见追问
序列化格式有哪些?怎么分类? 文本格式(JSON、XML)和二进制格式(Protobuf、SFSObject、MessagePack、FlatBuffers);又可以分为自描述(带字段名)和基于 Schema(只带字段编号)两类。
SFSObject 的序列化原理是什么? 带类型的键值容器,序列化时按”键名 + 类型标记 + 值”写入每一项,接收方不需要事先知道结构就能解析。
Protobuf 为什么体积小? 用字段编号代替字段名;整数用 Varint 变长编码,小数字只占 1 到 2 个字节;负数用 ZigZag;默认值不传输。
Protobuf 比 SFSObject 好在哪里? 体积更小、速度更快、强类型、有统一的协议文件和明确的版本兼容规则、跨语言。代价是需要预先定义结构、修改后要重新生成代码。
Protobuf 怎么做到向前向后兼容? 不认识的字段编号会被跳过,新增字段对旧版本无影响;已使用的字段编号不能修改或复用,删除时用 reserved 保留。
int32 和 sint32 有什么区别? 负数用 int32 编码会占 10 个字节;sint32 使用 ZigZag 编码,绝对值小的负数也很短。可能为负数的字段用 sint32。
Protobuf 消息在 TCP 上传输要注意什么? Protobuf 数据本身不带长度,要在外层加长度前缀来区分消息边界。
FlatBuffers 和 Protobuf 有什么区别? FlatBuffers 读取时不需要反序列化,可以直接访问字段,适合大型只读数据如配置表;Protobuf 编码更紧凑,更适合网络消息。
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!