序列化与网络协议:JSON、SFSObject、Protobuf、FlatBuffers 的原理与对比

2351 字
12 分钟
序列化与网络协议:JSON、SFSObject、Protobuf、FlatBuffers 的原理与对比

网络传输的基础(TCP、长连接、粘包拆包)见 游戏网络基础。

一、序列化是什么#

序列化:把内存中的对象转换成一串字节,以便通过网络发送或保存到文件。反序列化:把字节还原成对象。

客户端和服务器之间的每一条消息,都要经过”序列化 → 发送 → 接收 → 反序列化”。所以序列化格式直接影响:

  • 流量:数据越小,传输越快,玩家越省流量;
  • CPU:序列化和反序列化的速度,以及产生的 GC;
  • 兼容性:协议升级后,新旧版本的客户端和服务器能否互通;
  • 开发效率:是否需要预先定义结构、能否自动生成代码。

二、两大类格式#

文本格式二进制格式
代表JSON、XMLProtobuf、SFSObject、MessagePack、FlatBuffers
可读性人可以直接阅读需要工具解析
体积大:数字以字符串形式存储,还有大量引号、括号、键名小
速度慢:要做字符串解析和数字转换快
适合调试、配置、Web 接口游戏的实时通信

再按”是否需要预先定义结构(Schema)“细分:

自描述(不需要 Schema)基于 Schema
代表JSON、SFSObject、MessagePackProtobuf、FlatBuffers
数据中包含字段名和类型只有字段编号和值
灵活性高:随时增减字段,不需要事先约定需要先写好结构定义
体积较大:每条消息都要带着字段名小
代码通过字符串键读写,容易拼错自动生成强类型代码

三、SFSObject:自描述的键值格式#

SmartFoxServer 中,消息使用 SFSObject 承载,它本质上是一个带类型的键值容器:

var data = new SFSObject();
data.PutInt("hp", 100);
data.PutUtfString("name", "LuxFire");
data.PutIntArray("items", new[] { 1001, 1002 });
int hp = data.GetInt("hp");

序列化原理:SFSObject 被编码成二进制时,大致是按”键名 + 类型标记 + 值”的方式依次写入每一项。类型标记告诉接收方后面的值是 int、字符串还是数组,接收方不需要事先知道结构就能解析出来。这就是”自描述”。SmartFoxServer 还会对超过一定大小的数据包自动压缩。

特点:

  • 优点:不需要预先定义结构,服务器端(Java 扩展)和客户端直接按键名存取,增减字段非常方便。
  • 缺点:
    • 每条消息都带着所有的键名字符串,“hp”、“name” 这些字符串在每条消息中反复出现,消息越小、字段越多,这部分占比越高;
    • 按字符串键读写,没有编译期检查,键名拼错只能在运行时发现;
    • 读取时要做键名查找和类型判断,速度不如生成好的代码;
    • 前后端要靠文档约定字段,缺少统一的协议定义。

四、Protobuf#

结构定义#

syntax = "proto3";
message PlayerInfo {
int32 hp = 1; // 1 是字段编号,不是默认值
string name = 2;
repeated int32 items = 3;
}

用 protoc 工具根据定义自动生成 C#、Java、Go 等各种语言的代码,前后端共享同一份协议文件。

编码原理#

1. 用字段编号代替字段名

每个字段编码为 Tag + 值,Tag = (字段编号 << 3) | 线路类型。线路类型说明后面的值如何读取(变长整数、固定 4 或 8 字节、带长度前缀的数据)。字段名根本不出现在数据中。

2. Varint:小数字用少的字节

整数不是固定占 4 个字节,而是每个字节用低 7 位存数据,最高位表示”后面还有没有字节”:

数字 1 → 0000 0001 1 个字节
数字 150 → 1001 0110 0000 0001 2 个字节
↑ 最高位为 1:后面还有 ↑ 最高位为 0:结束
低 7 位 0010110 低 7 位 0000001
组合(低位在前):0000001 0010110 = 150

游戏中大部分整数都很小(ID、数量、等级),通常 1 到 2 个字节就够了。

例如 hp = 150(字段编号 1)编码后只有 3 个字节:08 96 01。其中 08 是 Tag(1 << 3 | 0),96 01 是 150 的 Varint。

3. ZigZag:负数也能很短

负数的二进制最高位是 1,直接用 Varint 编码会占满 10 个字节。sint32 / sint64 类型使用 ZigZag 编码,把有符号数映射成无符号数:0 → 0,-1 → 1,1 → 2,-2 → 3……绝对值小的负数也能用很少的字节表示。可能为负的字段要用 sint32,而不是 int32。

4. 默认值不传输

proto3 中,值为默认值(0、空字符串、false)的字段不会被编码。

兼容性#

接收方遇到不认识的字段编号时会跳过它。因此:

  • 新增字段:旧版本的客户端会忽略它,新版本的客户端读取旧数据时,这个字段是默认值。新旧版本可以共存。
  • 规则:已经使用过的字段编号不能修改含义,也不能复用;删除字段时,用 reserved 保留它的编号和名字,防止以后被误用。

这对游戏很重要:服务器更新协议后,还没有更新的旧客户端仍然可以正常通信。

为什么 Protobuf 比 SFSObject 好#

SFSObjectProtobuf
字段标识每条消息都带着键名字符串只有 1 个字节左右的字段编号
整数按类型固定长度Varint 变长,小数字只占 1 到 2 字节
体积较大更小
速度运行时按键查找、判断类型生成的代码直接按字段读写,更快
类型安全字符串键,拼错运行时才发现强类型,编译期检查
协议管理靠文档约定.proto 文件作为前后端共同的协议定义
版本兼容灵活,但缺少规则约束有明确的兼容规则
跨语言依赖 SmartFox 生态几乎所有主流语言都支持
灵活性更灵活,不需要预先定义修改协议要重新生成代码

一句话:Protobuf 用”预先约定的结构”换来了更小的体积、更快的速度和类型安全;SFSObject 用体积和速度换来了不需要预先定义的灵活性。

五、其他格式#

格式特点适合
MessagePack二进制版的 JSON:自描述,但比 JSON 小、快;在 C# 中有高性能的实现想要 JSON 的灵活性,又要更好的性能
FlatBuffers数据在内存中的布局就是可直接访问的格式,读取时不需要反序列化(零拷贝),可以只读取需要的字段大型、只读的数据,比如配置表;对读取速度极其敏感的场景
JSON可读性最好调试、Web 接口、小型配置

FlatBuffers 的代价是编码后体积比 Protobuf 大,构建数据的 API 也更繁琐,所以网络消息中更常用 Protobuf。

六、在 Unity 中使用#

消息的边界:Protobuf 编码的数据本身不包含长度信息,接收方无法知道一条消息在哪里结束。通过 TCP 发送时,必须在外层加上长度前缀(见 粘包与拆包)。

C# 库的选择:

库特点
Google.Protobuf官方实现,通过 protoc 生成代码,对 IL2CPP 友好
protobuf-net通过特性标记 C# 类即可,不需要 .proto 文件;但部分用法依赖运行时反射和动态代码生成,在 IL2CPP 下需要使用预编译的序列化器

减少 GC:

  • 接收消息时复用消息对象:用 MergeFrom 填充到一个已有的对象中,而不是每次 new 一个。
  • 消息对象和缓冲区使用对象池。
  • 频率很高的消息(比如帧同步中的每帧输入),字段尽量用整数,避免字符串和嵌套对象。

常见追问#

序列化格式有哪些?怎么分类? 文本格式(JSON、XML)和二进制格式(Protobuf、SFSObject、MessagePack、FlatBuffers);又可以分为自描述(带字段名)和基于 Schema(只带字段编号)两类。

SFSObject 的序列化原理是什么? 带类型的键值容器,序列化时按”键名 + 类型标记 + 值”写入每一项,接收方不需要事先知道结构就能解析。

Protobuf 为什么体积小? 用字段编号代替字段名;整数用 Varint 变长编码,小数字只占 1 到 2 个字节;负数用 ZigZag;默认值不传输。

Protobuf 比 SFSObject 好在哪里? 体积更小、速度更快、强类型、有统一的协议文件和明确的版本兼容规则、跨语言。代价是需要预先定义结构、修改后要重新生成代码。

Protobuf 怎么做到向前向后兼容? 不认识的字段编号会被跳过,新增字段对旧版本无影响;已使用的字段编号不能修改或复用,删除时用 reserved 保留。

int32 和 sint32 有什么区别? 负数用 int32 编码会占 10 个字节;sint32 使用 ZigZag 编码,绝对值小的负数也很短。可能为负数的字段用 sint32。

Protobuf 消息在 TCP 上传输要注意什么? Protobuf 数据本身不带长度,要在外层加长度前缀来区分消息边界。

FlatBuffers 和 Protobuf 有什么区别? FlatBuffers 读取时不需要反序列化,可以直接访问字段,适合大型只读数据如配置表;Protobuf 编码更紧凑,更适合网络消息。

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

序列化与网络协议:JSON、SFSObject、Protobuf、FlatBuffers 的原理与对比
https://xslab.cloud/posts/design/serialization-and-protocols/
作者
LuxFire
发布于
2026-10-14
许可协议
CC BY-NC-SA 4.0
相关文章 智能推荐
1
帧同步与状态同步:原理、确定性、预测与回滚、插值与延迟补偿
项目设计/架构 联网游戏同步的两种基本模型;帧同步的流程、对确定性的严格要求(定点数、随机数、物理)、输入延迟与乐观帧、预测回滚和断线重连;状态同步的服务器权威、快照与增量、客户端预测与和解、实体插值、延迟补偿;两种方案的全面对比与选型。
2
游戏网络基础:TCP 与 UDP、长连接与短连接,以及为什么活动系统需要长连接
项目设计/架构 从客户端视角整理网络基础:分层模型,TCP 与 UDP 的区别,三次握手与四次挥手;长连接与短连接的定义、对比与常见误区;服务器向客户端推送的几种方式;为什么活动系统依赖长连接以及"推拉结合"的设计;不同类型游戏的网络选型;长连接必须解决的心跳、重连、粘包等问题;以及 Unity 中的网络实践。
3
存档系统设计:数据模型、序列化、版本迁移、安全写入、加密与云存档
项目设计/业务系统 存档要保存什么、存档数据与运行时对象如何分离;序列化格式的选择;存档的版本号与迁移;防止写入时崩溃导致存档损坏;保存的时机与异步保存;PlayerPrefs 的适用范围;加密与防篡改的作用和局限;云存档的冲突处理。
4
Unity 资源目录与序列化:特殊文件夹、运行时路径、序列化规则、Prefab 与 ScriptableObject
Unity底层/基础 Resources、StreamingAssets、Editor、Plugins 等特殊文件夹的作用;dataPath、streamingAssetsPath、persistentDataPath 的读写权限;meta 文件与 GUID;哪些字段会被序列化、哪些不会,Dictionary 怎么序列化,SerializeReference;Prefab 的嵌套与变体;ScriptableObject 的用途与陷阱。
5
多语言本地化:文本、字体、图片、排版与流程
项目设计/架构 本地化需要处理哪些内容;文本的 Key 设计、参数与复数;运行时切换语言;不同语言的字体与字符集;文字长度变化带来的排版问题;从右到左的语言;图片与音频资源的本地化;日期、数字、货币的格式;以及翻译的流程与常见坑。
随机文章 随机推荐
Profile Image of the Author
LuxFire
Hello, I'm LuxFire.
公告
欢迎来到我的博客!这是一则示例公告。
音乐
封面

音乐

暂未播放

0:00 0:00
暂无歌词
分类
标签
站点统计
文章
60
分类
6
标签
164
总字数
171,869
运行时长
0 天
最后活动
0 天前

文章目录