【我的Android進(jìn)階之旅】如何壓縮Json格式數(shù)據(jù)，減少Json數(shù)據(jù)的體積？

一、背景

最近剛剛做完一個中文漢字筆畫排序的功能，鏈接如下：

其中優(yōu)化之后，將數(shù)據(jù)庫的內(nèi)容，序列化成為了json數(shù)據(jù)，然后通過解析json數(shù)據(jù)，拿到漢字筆畫的相關(guān)信息。但是未處理前的json文件，體積較大，有2.13Mb，因此需要壓縮才行。

部分?jǐn)?shù)據(jù)如下所示：

在這里插入圖片描述
{
      "33828": {
        "code": "33828",
        "name": "螢",
        "order": "7298",
        "strokeSum": "11"
      },
      "22920": {
        "code": "22920",
        "name": "媽",
        "order": "1051",
        "strokeSum": "6"
      },
      "20718": {
        "code": "20718",
        "name": "僮",
        "order": "13341",
        "strokeSum": "14"
      },
      "30615": {
        "code": "30615",
        "name": "瞗",
        "order": "15845",
        "strokeSum": "16"
      },
      "36969": {
        "code": "36969",
        "name": "適",
        "order": "13506",
        "strokeSum": "14"
      }
}

二、常規(guī)壓縮json

2.1 未處理前的json文件

未處理前的json文件，格式好看但是體積較大。

在這里插入圖片描述
在這里插入圖片描述

未處理前的json文件，一共占用125414行


在這里插入圖片描述

未處理的原始json文件大小為2.13Mb


在這里插入圖片描述

2.2 將JSON壓縮成一行，去掉換行和空格字符

在這里插入圖片描述

在Android Studio中打開，如下所示：

在這里插入圖片描述

將JSON壓縮成一行，去掉換行和空格字符后的json文件大小為：1.39Mb，只之前的2.13Mb小了整整0.74Mb，這個在移動端是很可觀的優(yōu)化！

在這里插入圖片描述

2.3 將JSON的key進(jìn)行縮短

json 是 key-value 結(jié)構(gòu)，如果定義好規(guī)范，則可以將 key 盡量縮短，甚至是無意義的字母，但前提是文檔一定要寫清楚，避免不必要的麻煩。

比如之前的 key-value結(jié)構(gòu)如下所示：


在這里插入圖片描述
{
      "33828": {
        "code": "33828",
        "name": "螢",
        "order": "7298",
        "strokeSum": "11"
      },
      "22920": {
        "code": "22920",
        "name": "媽",
        "order": "1051",
        "strokeSum": "6"
      },
      "20718": {
        "code": "20718",
        "name": "僮",
        "order": "13341",
        "strokeSum": "14"
      },
      "30615": {
        "code": "30615",
        "name": "瞗",
        "order": "15845",
        "strokeSum": "16"
      },
      "36969": {
        "code": "36969",
        "name": "適",
        "order": "13506",
        "strokeSum": "14"
      }
}

現(xiàn)在我們將key進(jìn)行優(yōu)化，使用

c 代替 code
n 代替 name
o 代替 order
s 代替 strokeSum

在這里插入圖片描述
在這里插入圖片描述

將JSON的key進(jìn)行縮短優(yōu)化后的json文件大小為：1.77Mb，只之前的2.13Mb小了整整0.36Mb，這個在移動端是很可觀的優(yōu)化！

然后再將縮短key之后的文件，重復(fù)【2.2 將JSON壓縮成一行，去掉換行和空格字符】的操作。

再看一看文件大小為1.04Mb，比最開始的原始數(shù)據(jù)2.13Mb小了整整1.09Mb，這個在移動端是很可觀的優(yōu)化！

在這里插入圖片描述
在這里插入圖片描述

當(dāng)然這樣key的名字變化了，對應(yīng)解析Json的java實(shí)體bean也要修改一下。

因?yàn)槲沂褂玫氖莏ackson來進(jìn)行json解析的，所以使用注解@JsonProperty來表示一下修改的json文件對應(yīng)原來的java bean里面的屬性，這樣解析的時候就不會出錯了。


在這里插入圖片描述

2.4 常規(guī)總結(jié)

經(jīng)過上面的常規(guī)操作，
我們的json文件大小減少到了1.04Mb，
比最開始的原始數(shù)據(jù)2.13Mb，
小了整整1.09Mb，

壓縮率為51.174%，壓縮后體積為原來的48.826%

已經(jīng)算很給力了，但是這個json文件還是有1.04Mb啊，是否還可以進(jìn)行壓縮呢？答案是肯定的，我們下面介紹下使用算法對該json文件進(jìn)行壓縮。

三、使用壓縮算法進(jìn)行壓縮

3.1 使用Deflater壓縮json，Inflater解壓json

Deflater 是同時使用了LZ77算法與哈夫曼編碼的一個無損數(shù)據(jù)壓縮算法。

在這里插入圖片描述

我們可以使用 java 提供的 Deflater 和 Inflater 類對 json 進(jìn)行壓縮和解壓縮，下面是工具類

package com.oyp.sort.utils;

import android.support.annotation.Nullable;
import android.util.Base64;

import java.io.ByteArrayOutputStream;
import java.util.zip.DataFormatException;
import java.util.zip.Deflater;
import java.util.zip.Inflater;

/**
 * DeflaterUtils 壓縮字符串
 */
public class DeflaterUtils {
    /**
     * 壓縮
     */
    public static String zipString(String unzipString) {
        /**
         *     https://www.yiibai.com/javazip/javazip_deflater.html#article-start
         *     0 ~ 9 壓縮等級 低到高
         *     public static final int BEST_COMPRESSION = 9;            最佳壓縮的壓縮級別。
         *     public static final int BEST_SPEED = 1;                  壓縮級別最快的壓縮。
         *     public static final int DEFAULT_COMPRESSION = -1;        默認(rèn)壓縮級別。
         *     public static final int DEFAULT_STRATEGY = 0;            默認(rèn)壓縮策略。
         *     public static final int DEFLATED = 8;                    壓縮算法的壓縮方法(目前唯一支持的壓縮方法)。
         *     public static final int FILTERED = 1;                    壓縮策略最適用于大部分?jǐn)?shù)值較小且數(shù)據(jù)分布隨機(jī)分布的數(shù)據(jù)。
         *     public static final int FULL_FLUSH = 3;                  壓縮刷新模式，用于清除所有待處理的輸出并重置拆卸器。
         *     public static final int HUFFMAN_ONLY = 2;                僅用于霍夫曼編碼的壓縮策略。
         *     public static final int NO_COMPRESSION = 0;              不壓縮的壓縮級別。
         *     public static final int NO_FLUSH = 0;                    用于實(shí)現(xiàn)最佳壓縮結(jié)果的壓縮刷新模式。
         *     public static final int SYNC_FLUSH = 2;                  用于清除所有未決輸出的壓縮刷新模式; 可能會降低某些壓縮算法的壓縮率。
         */
        //使用指定的壓縮級別創(chuàng)建一個新的壓縮器。
        Deflater deflater = new Deflater(Deflater.BEST_COMPRESSION);
        //設(shè)置壓縮輸入數(shù)據(jù)。
        deflater.setInput(unzipString.getBytes());
        //當(dāng)被調(diào)用時，表示壓縮應(yīng)該以輸入緩沖區(qū)的當(dāng)前內(nèi)容結(jié)束。
        deflater.finish();

        final byte[] bytes = new byte[256];
        ByteArrayOutputStream outputStream = new ByteArrayOutputStream(256);

        while (!deflater.finished()) {
            //壓縮輸入數(shù)據(jù)并用壓縮數(shù)據(jù)填充指定的緩沖區(qū)。
            int length = deflater.deflate(bytes);
            outputStream.write(bytes, 0, length);
        }
        //關(guān)閉壓縮器并丟棄任何未處理的輸入。
        deflater.end();
        return Base64.encodeToString(outputStream.toByteArray(), Base64.NO_PADDING);
    }

    /**
     * 解壓縮
     */
    @Nullable
    public static String unzipString(String zipString) {
        byte[] decode = Base64.decode(zipString, Base64.NO_PADDING);
        //創(chuàng)建一個新的解壓縮器  https://www.yiibai.com/javazip/javazip_inflater.html
        Inflater inflater = new Inflater();
        //設(shè)置解壓縮的輸入數(shù)據(jù)。
        inflater.setInput(decode);

        final byte[] bytes = new byte[256];
        ByteArrayOutputStream outputStream = new ByteArrayOutputStream(256);
        try {
            //finished() 如果已到達(dá)壓縮數(shù)據(jù)流的末尾，則返回true。
            while (!inflater.finished()) {
                //將字節(jié)解壓縮到指定的緩沖區(qū)中。
                int length = inflater.inflate(bytes);
                outputStream.write(bytes, 0, length);
            }
        } catch (DataFormatException e) {
            e.printStackTrace();
            return null;
        } finally {
            //關(guān)閉解壓縮器并丟棄任何未處理的輸入。
            inflater.end();
        }

        return outputStream.toString();
    }
}

3.1.1 壓縮原始的stroke.json數(shù)據(jù)

然后我們先將原始的stroke.json數(shù)據(jù)壓縮成deFlaterStrokeJson.json。

在這里插入圖片描述
 //原始文件   stroke.json
 String strokeJson = LocalFileUtils.getStringFormAsset(context, "stroke.json");
  mapper = JSONUtil.toCollection(strokeJson, HashMap.class, String.class, Stroke.class);
  // 使用 Deflater  加密
  String deFlaterStrokeJson = DeflaterUtils.zipString(strokeJson);
  writeFile(deFlaterStrokeJson,"deFlaterStrokeJson.json");

其中 writeFile方法是寫入到sdcard的方法。

private static void writeFile(String mapperJson, String fileName) {
        Writer write = null;
        try {
            File file = new File(Environment.getExternalStorageDirectory(), fileName);
            Log.d(TAG, "file.exists():" + file.exists() + " file.getAbsolutePath():" + file.getAbsolutePath());
            // 如果父目錄不存在，創(chuàng)建父目錄
            if (!file.getParentFile().exists()) {
                file.getParentFile().mkdirs();
            }
            // 如果已存在,刪除舊文件
            if (file.exists()) {
                file.delete();
            }
            file.createNewFile();
            // 將格式化后的字符串寫入文件
            write = new OutputStreamWriter(new FileOutputStream(file), "UTF-8");
            write.write(mapperJson);
            write.flush();
            write.close();
        } catch (Exception e) {
            Log.e(TAG, "e = " + Log.getStackTraceString(e));
        }finally {
            if (write != null){
                try {
                    write.close();
                } catch (IOException e) {
                    Log.e(TAG, "e = " + Log.getStackTraceString(e));
                }
            }
        }
    }

運(yùn)行完畢之后，將sdcard中的deFlaterStrokeJson.json導(dǎo)出來，放到assets目錄下，以備后續(xù)解析使用。

在這里插入圖片描述

使用Deflater壓縮json，壓縮后大小為 387KB，比上一次的1067KB，又少了很多很多。

經(jīng)過Deflater壓縮和Base64編碼之后的deFlaterStrokeJson.json文件，如下所示：

在這里插入圖片描述

3.1.2 還原成原始的stroke.json數(shù)據(jù)

關(guān)壓縮還不行，我們得使用壓縮后的json文件數(shù)據(jù)啊，因此我們還需要將壓縮后的json數(shù)據(jù)進(jìn)行解壓，操作如下所示：

在這里插入圖片描述
//使用 Inflater 解密
String deFlaterStrokeJson = LocalFileUtils.getStringFormAsset(context, "deFlaterStrokeJson.json");
String strokeJson = DeflaterUtils.unzipString(deFlaterStrokeJson);
mapper = JSONUtil.toCollection(strokeJson, HashMap.class, String.class, Stroke.class);

解壓之后運(yùn)行一切正常！完美！

3.1.3 Deflater壓縮總結(jié)

經(jīng)過上面的常規(guī)操作，
我們的json文件大小減少到了387KB，
比剛才未使用壓縮算法的原始數(shù)據(jù)1067KB，
小了整整680KB，

壓縮率為63.73%，壓縮后體積為原來的36.27%

優(yōu)化步驟 體積
1.未處理的原始json 2.13MB
2.將JSON壓縮成一行，去掉換行和空格字符 1.39MB
3.將JSON的key進(jìn)行縮短 1.04MB
4.使用Deflater壓縮json,Base64編碼 0.38MB
在這里插入圖片描述
在這里插入圖片描述

3.2 使用Gzip壓縮解壓json

在我封裝的http庫里面，有對請求json數(shù)據(jù)進(jìn)行Gzip壓縮，對服務(wù)器返回的json數(shù)據(jù)進(jìn)行Gzip解壓。這里也來試一下Gzip壓縮json。

編寫一個 Gzip壓縮解壓并使用Base64進(jìn)行編碼工具類

package com.oyp.sort.utils;

import android.text.TextUtils;
import android.util.Base64;
import android.util.Log;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.nio.charset.Charset;
import java.util.zip.GZIPInputStream;
import java.util.zip.GZIPOutputStream;

/**
 * Gzip壓縮解壓并使用Base64進(jìn)行編碼工具類
 */
public class GzipUtil {
    private static final String TAG = "GzipUtil";
    /**
     * 將字符串進(jìn)行g(shù)zip壓縮
     *
     * @param data
     * @param encoding
     * @return
     */
    public static String compress(String data, String encoding) {
        if (data == null || data.length() == 0) {
            return null;
        }
        ByteArrayOutputStream out = new ByteArrayOutputStream();
        GZIPOutputStream gzip;
        try {
            gzip = new GZIPOutputStream(out);
            gzip.write(data.getBytes(encoding));
            gzip.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return Base64.encodeToString(out.toByteArray(), Base64.NO_PADDING);
    }

    public static String uncompress(String data, String encoding) {
        if (TextUtils.isEmpty(data)) {
            return null;
        }
        byte[] decode = Base64.decode(data, Base64.NO_PADDING);
        ByteArrayOutputStream out = new ByteArrayOutputStream();
        ByteArrayInputStream in = new ByteArrayInputStream(decode);
        GZIPInputStream gzipStream = null;
        try {
            gzipStream = new GZIPInputStream(in);
            byte[] buffer = new byte[256];
            int n;
            while ((n = gzipStream.read(buffer)) >= 0) {
                out.write(buffer, 0, n);
            }
        } catch (IOException e) {
            Log.e(TAG, "e = " + Log.getStackTraceString(e));
        } finally {
            try {
                out.close();
                if (gzipStream != null) {
                    gzipStream.close();
                }
            } catch (IOException e) {
                Log.e(TAG, "e = " + Log.getStackTraceString(e));
            }

        }
        return new String(out.toByteArray(), Charset.forName(encoding));
    }

}

3.2.1 壓縮原始的stroke.json數(shù)據(jù)

在這里插入圖片描述
  //原始文件   stroke.json
String strokeJson = LocalFileUtils.getStringFormAsset(context, "stroke.json");
mapper = JSONUtil.toCollection(strokeJson, HashMap.class, String.class, Stroke.class);
// 使用 GZIP  壓縮
String gzipStrokeJson = GzipUtil.compress(strokeJson,CHARSET_NAME);
writeFile(gzipStrokeJson,"gzipStrokeJson.json");

運(yùn)行完畢之后，將sdcard中的gzipStrokeJson.json導(dǎo)出來，放到assets目錄下，以備后續(xù)解析使用。

在這里插入圖片描述

導(dǎo)出來的gzipStrokeJson.json文件為405kb，沒有比剛才使用Deflater壓縮json后大小為 387KB優(yōu)秀！

在這里插入圖片描述

3.2.2 還原成原始的stroke.json數(shù)據(jù)

關(guān)壓縮還不行，我們得使用壓縮后的json文件數(shù)據(jù)啊，因此我們還需要將壓縮后的json數(shù)據(jù)進(jìn)行解壓，操作如下所示：

在這里插入圖片描述
//使用 GZIP 解壓
String gzipStrokeJson = LocalFileUtils.getStringFormAsset(context, "gzipStrokeJson.json");
String strokeJson = GzipUtil.uncompress(gzipStrokeJson,CHARSET_NAME);
mapper = JSONUtil.toCollection(strokeJson, HashMap.class, String.class, Stroke.class);

解壓之后，json解析一切正常！

3.2.3 Gzip壓縮總結(jié)

經(jīng)過上面的常規(guī)操作，
我們的json文件大小減少到了405kb，
雖然比不上剛才的Deflater壓縮：387KB，
但是比剛才未使用壓縮算法的原始數(shù)據(jù)1067KB，
小了整整662KB，

壓縮率為62.04%，壓縮后體積為原來的37.95%，也是不錯的！

四、 其他壓縮算法

除了上面的算法之外，我們還可以使用很多其他的壓縮算法，進(jìn)一步壓縮json的體積。我們的原始json中還是有很多重復(fù)的key值可以進(jìn)行優(yōu)化的，下面的算法中有部分可以進(jìn)行key優(yōu)化！

常見的json壓縮算法有CJSON與HPack，其原理都是將key和value進(jìn)行抽離，節(jié)省掉部分的重復(fù)的key值造成的空間消耗。

4.1 CJSON

CJSON 的壓縮算法, 主要是將資料抽離成 Template 與 Value,節(jié)省掉重復(fù)的 "Key 值".

原始JSON：

[{
        "x": 100,
        "y": 100
    },
    {
        "x": 100,
        "y": 100,
        "width": 200,
        "height": 150
    },
    {}
]
在這里插入圖片描述

CJSON壓縮后：

{
    "templates": [
        [0, "x", "y"],
        [1, "width", "height"]
    ],
    "values": [{
            "values": [1, 100, 100]
        },
        {
            "values": [2, 100, 100, 200, 150]
        },
        {}
    ]
}
在這里插入圖片描述

4.2 HPack

HPack 的壓縮算法, 也是將 Key, Value 抽離, 陣列中第一個值, 就是 HPack 的 Template, 后面依序就是 Value.

[
    {
         "name": "Andrea",
         "age": 31,
         "gender": "Male",
         "skilled": true
    },
    {
         "name": "Eva",
         "age": 27,
         "gender": "Female",
         "skilled": true
    },
    {
         "name": "Daniele",
         "age": 26,
         "gender": "Male",
         "skilled": false
    }
]
在這里插入圖片描述

壓縮之后的數(shù)據(jù)

[
    [
        "name",
        "age",
        "gender",
        "skilled"
    ],
    [
        "Andrea",
        31,
        "Male",
        true
    ],
    [
        "Eva",
        27,
        "Female",
        true
    ],
    [
        "Daniele",
        26,
        "Male",
        false
    ]
]
在這里插入圖片描述

兩種方法都是主要講json 的 鍵抽出來統(tǒng)一建成索引，只是最后的格式不同。

HPack 簡化后的格式比CJSON 少了許多字符，所以HPack 的壓縮效率比較高。數(shù)據(jù)量越大，效果越明顯，應(yīng)用場景也更加有意義。

如果 JSON 內(nèi)容太少, CJSON的資料可能反而會比較多。

壓縮效果

下圖來自：https://www.oschina.net/p/jsonhpack

在這里插入圖片描述

五、參考資料

在這里插入圖片描述
image

作者：歐陽鵬 歡迎轉(zhuǎn)載，與人分享是進(jìn)步的源泉！
轉(zhuǎn)載請保留原文地址：https://blog.csdn.net/qq446282412/article/details/83856439
? 本人QQ: 3024665621
? QQ交流群: 123133153
? github.com/ouyangpeng
? oypcz@foxmail.com
如果本文對您有所幫助，歡迎您掃碼下圖所示的支付寶和微信支付二維碼對本文進(jìn)行打賞。

image
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • [筆記]Android性能優(yōu)化 上[筆記]Android性能優(yōu)化 中[筆記]Android性能優(yōu)化 下 7.And...
    幻海流心閱讀 974評論 0贊 8
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具（例如配置管理，服務(wù)發(fā)現(xiàn)，斷路器，智...
    卡卡羅2017閱讀 136,525評論 19贊 139
  • 關(guān)于Mongodb的全面總結(jié) MongoDB的內(nèi)部構(gòu)造《MongoDB The Definitive Guide》...
    中v中閱讀 32,279評論 2贊 89
  • 一、壓縮算法 1.zip 以下參考他發(fā)明了 zip 壓縮格式，功成名就之際死于墮落壓縮大戰(zhàn)真相 轉(zhuǎn)載自2004.1...
    合肥黑閱讀 6,089評論 0贊 5
  • 1、通過CocoaPods安裝項(xiàng)目名稱項(xiàng)目信息 AFNetworking網(wǎng)絡(luò)請求組件 FMDB本地數(shù)據(jù)庫組件 SD...
    陽明AI閱讀 16,175評論 3贊 119

友情鏈接更多精彩內(nèi)容