引言
數(shù)據(jù)序列化
數(shù)據(jù)序列化的行為可能發(fā)生在數(shù)據(jù)傳遞過(guò)程中的任何階段,例如網(wǎng)絡(luò)傳輸,不同進(jìn)程間數(shù)據(jù)傳遞,不同類之間的參數(shù)傳遞,把數(shù)據(jù)存儲(chǔ)到磁盤上等等。通常情況下,我們會(huì)把那些需要序列化的類實(shí)現(xiàn)Serializable接口(如下圖所示),但是這種傳統(tǒng)的做法效率不高,實(shí)施的過(guò)程會(huì)消耗更多的內(nèi)存。
如果使用GSON庫(kù)來(lái)處理這個(gè)序列化的問(wèn)題,不僅僅執(zhí)行速度更快,內(nèi)存的使用效率也更高。Android的XML布局文件會(huì)在編譯的階段被轉(zhuǎn)換成更加復(fù)雜的格式,具備更加高效的執(zhí)行性能與更高的內(nèi)存使用效率
Json 和FlatBuffer的對(duì)比
json 數(shù)據(jù)的序列化和反序列化:基于字符串的
FlatBuffer:基于二進(jìn)制的文件。

FlatBuffers的有點(diǎn)
FlatBuffers是一個(gè)開源的跨平臺(tái)數(shù)據(jù)序列化庫(kù),可以應(yīng)用到幾乎任何語(yǔ)言(C++, C#, Go, Java, JavaScript, PHP, Python),最開始是 Google 為游戲或者其他對(duì)性能要求很高的應(yīng)用開發(fā)的。項(xiàng)目地址在 GitHub 上。官方的文檔在 這里。
FlatBuffer 相對(duì)于其他序列化技術(shù),例如 XML,JSON,Protocol Buffers 等,有哪些優(yōu)勢(shì)呢?官方文檔的說(shuō)法如下:
- 直接讀取序列化數(shù)據(jù),而不需要解析(Parsing)或者解包(Unpacking):FlatBuffer 把數(shù)據(jù)層級(jí)結(jié)構(gòu)保存在一個(gè)扁平化的二進(jìn)制緩存(一維數(shù)組)中,同時(shí)能夠保持直接獲取里面的結(jié)構(gòu)化數(shù)據(jù),而不需要解析,并且還能保證數(shù)據(jù)結(jié)構(gòu)變化的前后向兼容。
- 高效的內(nèi)存使用和速度:FlatBuffer 使用過(guò)程中,不需要額外的內(nèi)存,幾乎接近原始數(shù)據(jù)在內(nèi)存中的大小。
- 靈活:數(shù)據(jù)能夠前后向兼容,并且能夠靈活控制你的數(shù)據(jù)結(jié)構(gòu)。
- 很少的代碼侵入性:使用少量的自動(dòng)生成的代碼即可實(shí)現(xiàn)。
- 強(qiáng)數(shù)據(jù)類性,易于使用,跨平臺(tái),幾乎語(yǔ)言無(wú)關(guān)。
在做 Android 開發(fā)的時(shí)候,JSON 是最常用的數(shù)據(jù)序列化技術(shù)。我們知道,JSON 的可讀性很強(qiáng),但是序列化和反序列化性能卻是最差的。解析的時(shí)候,JSON 解析器首先,需要在內(nèi)存中初始化一個(gè)對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu),這個(gè)事件經(jīng)常會(huì)消耗 100ms ~ 200ms2;解析過(guò)程中,要產(chǎn)生大量的臨時(shí)變量,造成 Java 虛擬機(jī)的 GC 和內(nèi)存抖動(dòng),解析 20KB 的數(shù)據(jù),大概會(huì)消耗 100KB 的臨時(shí)內(nèi)存2。FlatBuffers 就解決了這些問(wèn)題 。
FlatBuffers使用方法
簡(jiǎn)單來(lái)說(shuō),F(xiàn)latBuffers 的使用方法是,首先按照使用特定的 IDL 定義數(shù)據(jù)結(jié)構(gòu) schema,然后使用編譯工具 flatc 編譯 schema 生成對(duì)應(yīng)的代碼,把生成的代碼應(yīng)用到工程中即可。下面詳細(xì)介紹每一步。
1.首先,我們需要得到 flatc,這個(gè)需要從源碼編輯得到。從 GitHub 上 Clone 代碼,
$ git clone https://github.com/google/flatbuffers
2.編寫 Schema 的詳細(xì)文檔在這里。其語(yǔ)法和 C 語(yǔ)言類似,比較容易上手。
例如:
class Person {
String name;
int friendshipStatus;
Person spouse;
List<Person>friends;
}
編寫成 Schema 如下,文件名為 Person.fbs:
namespace com.race604.fbs;
enum FriendshipStatus: int {Friend = 1, NotFriend}
table Person {
name: string;
friendshipStatus: FriendshipStatus = Friend;
spouse: Person;
friends: [Person];
}
root_type Person;
3.使用 flatc 可以把 Schema 編譯成多種編程語(yǔ)言,我們僅僅討論 Android 平臺(tái),所以把 Schema 編譯成 Java,找到flatc.exe執(zhí)行命令如下
$ ./flatc –j -b Person.fbs
在當(dāng)前目錄生成如下文件:
└── com
└── race604
└── fbs
├── FriendshipStatus.java
└── Person.java
4.下面我們來(lái)構(gòu)建一個(gè) Person 對(duì)象
private ByteBuffer createPerson() {
FlatBufferBuilder builder = new FlatBufferBuilder(0);
int spouseName = builder.createString("Mary");
int spouse = Person.createPerson(builder, spouseName, FriendshipStatus.Friend, 0, 0);
int friendDave = Person.createPerson(builder, builder.createString("Dave"),
FriendshipStatus.Friend, 0, 0);
int friendTom = Person.createPerson(builder, builder.createString("Tom"),
FriendshipStatus.Friend, 0, 0);
int name = builder.createString("John");
int[] friendsArr = new int[]{ friendDave, friendTom };
int friends = Person.createFriendsVector(builder, friendsArr);
Person.startPerson(builder);
Person.addName(builder, name);
Person.addSpouse(builder, spouse);
Person.addFriends(builder, friends);
Person.addFriendshipStatus(builder, FriendshipStatus.NotFriend);
int john = Person.endPerson(builder);
builder.finish(john);
return builder.dataBuffer();
}
基本原理
如官方文檔的介紹,FlatBuffers 就像它的名字所表示的一樣,就是把結(jié)構(gòu)化的對(duì)象,用一個(gè)扁平化(Flat)的緩沖區(qū)保存,簡(jiǎn)單的來(lái)說(shuō)就是把內(nèi)存對(duì)象數(shù)據(jù),保存在一個(gè)一維的數(shù)組中。

可見,F(xiàn)latBuffers 保存在一個(gè) byte 數(shù)組中,有一個(gè)“支點(diǎn)”指針(pivot point)以此為界,存儲(chǔ)的內(nèi)容分為兩個(gè)部分:元數(shù)據(jù)和數(shù)據(jù)內(nèi)容。其中元數(shù)據(jù)部分就是數(shù)據(jù)在前面,其長(zhǎng)度等于對(duì)象中的字段數(shù)量,每個(gè) byte 保存對(duì)應(yīng)字段內(nèi)容在數(shù)組中的索引(從支點(diǎn)位置開始計(jì)算)。
如圖,上面的 Person 對(duì)象第一個(gè)字段是 name,其值的索引位置是 1,所以從索引位置 1 開始的字符串,就是 name 字段的值 "John"。第二個(gè)字段是 friendshipStatus,其索引值是 6,找到值為 2, 表示 NotFriend。第三個(gè)字段是 spouse,也一個(gè) Person 對(duì)象,索引值是 12,指向的是此對(duì)象的支點(diǎn)位置。第四個(gè)字段是一個(gè)數(shù)組,圖中表示的數(shù)組為空,所以索引值是 0。
通過(guò)上面的解析,可以看出,F(xiàn)latBuffers 通過(guò)自己分配和管理對(duì)象的存儲(chǔ),使對(duì)象在內(nèi)存中就是線性結(jié)構(gòu)化的,直接可以把內(nèi)存內(nèi)容保存或者發(fā)送出去,加載“解析”數(shù)據(jù)只需要把 byte 數(shù)組加載到內(nèi)存中即可,不需要任何解析,也不產(chǎn)生任何中間變量。
使用建議
通過(guò)前面的體驗(yàn),F(xiàn)latBuffers 幾乎秒殺了 JSON
下面說(shuō)說(shuō) FlatBuffers 的幾點(diǎn)缺點(diǎn):
- FlatBuffers 需要生成代碼,對(duì)代碼有侵入性;
- 數(shù)據(jù)序列化沒(méi)有可讀性,不方便 Debug;
- 構(gòu)建 FlatBuffers 對(duì)象比較麻煩,不直觀,特別是如果對(duì)象比較復(fù)雜情況下需要寫大段的代碼;
- 數(shù)據(jù)的所有內(nèi)容需要使用 Schema 嚴(yán)格定義,靈活性不如 JSON。
所以,在什么情況下選擇使用 FlatBuffers 呢?個(gè)人感覺(jué)需要滿足以下幾點(diǎn): - 項(xiàng)目中有大量數(shù)據(jù)傳輸和解析,使用 JSON 成為了性能瓶頸;
- 穩(wěn)定的數(shù)據(jù)結(jié)構(gòu)定義。