如何使用brotli壓縮大文件

本篇文章給大家分享的是有關如何使用brotli壓縮大文件，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

大文件問題

函數計算對上傳的 zip 代碼包尺寸限制為 50M。某些場景中代碼包中會超過這一限制，比如未經裁剪的 serverless-chrome ，類似的還有 libreoffice ，此外常見的還有機器學習訓練的模型文件。
目前解決大文件問題有三種方法

1. 采用更高壓縮比的算法，比如本文介紹的 brotli 算法

2. 采用 OSS 運行時下載

3. 采用 NAS 文件共享

簡單的比較一下這三種方法的優劣

正常情況下如果代碼包能控制在 50M 以下啟動較快。而且工程上也比較簡單，數據和代碼放在一起，不需要額外的寫腳本去同步更新 OSS 或者 NAS。

壓縮算法

Brotli 是 Google 工程師開發的開源壓縮算法，目前已經被新版的主流瀏覽器支持，作為 HTTP 傳輸的壓縮算法。下面是在網上找到的關于 Brotli 和其他常見壓縮算法對比基準測試。

從上面三幅圖我們可以看出:相比于 gzip、xz 和 bz2，brotli 有最高的壓縮比，接近于 gzip 的解壓速度，以及最慢的壓縮速度。

然而在我們的場景對于壓縮慢這一缺點不敏感，壓縮任務只要在開發準備物料的階段執行一次就好了。

制作壓縮文件

下面我先介紹一下如何制作壓縮文件。下面的代碼和用例都來自于項目 packed-selenium-java-example 。

安裝 brotli 命令

Mac 用戶

brew install brotli

Windows 用戶可以去這個界面下載， https://github.com/google/brotli/releases

打包并壓縮

打包前兩個文件大小分別為 7.5M 和 97M

╭─ ~/D/test1[? 18:15:21]
╰─  ll
total 213840
-rwxr-xr-x  1 vangie  staff   7.5M  3  5 11:13 chromedriver
-rwxr-xr-x  1 vangie  staff    97M  1 25  2018 headless-chromium

使用 GZip 打包并壓縮，大小為 44 M。

╭─ ~/D/test1[? 18:15:33]
╰─  tar -czvf chromedriver.tar chromedriver headless-chromium
a chromedriver
a headless-chromium
╭─ ~/D/test1[? 18:16:41]
╰─  ll
total 306216
-rwxr-xr-x  1 vangie  staff   7.5M  3  5 11:13 chromedriver
-rw-r--r--  1 vangie  staff    44M  3  6 18:16 chromedriver.tar
-rwxr-xr-x  1 vangie  staff    97M  1 25  2018 headless-chromium

tar 去掉 z 選項再打包一遍，大小為 104M

╭─ ~/D/test1[? 18:16:42]
╰─  tar -cvf chromedriver.tar chromedriver headless-chromium
a chromedriver
a headless-chromium
╭─ ~/D/test1[? 18:17:06]
╰─  ll
total 443232
-rwxr-xr-x  1 vangie  staff   7.5M  3  5 11:13 chromedriver
-rw-r--r--  1 vangie  staff   104M  3  6 18:17 chromedriver.tar
-rwxr-xr-x  1 vangie  staff    97M  1 25  2018 headless-chromium

壓縮后的大小為 33M，相比 Gzip 的 44M 小了不少。耗時也非常的感人 6 分 18 秒，Gzip 只要 5 秒。

╭─ ~/D/test1[? 18:17:08]
╰─  time brotli -q 11 -j -f chromedriver.tar
brotli -q 11 -j -f chromedriver.tar  375.39s user 1.66s system 99% cpu 6:18.21 total
╭─ ~/D/test1[? 18:24:23]
╰─  ll
total 281552
-rwxr-xr-x  1 vangie  staff   7.5M  3  5 11:13 chromedriver
-rw-r--r--  1 vangie  staff    33M  3  6 18:17 chromedriver.tar.br
-rwxr-xr-x  1 vangie  staff    97M  1 25  2018 headless-chromium

運行時解壓縮

下面以 java maven 項目為例

添加解壓依賴包

<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-compress</artifactId>
    <version>1.18</version>
</dependency>
<dependency>
    <groupId>org.brotli</groupId>
    <artifactId>dec</artifactId>
    <version>0.1.2</version>
</dependency>

commons-compress 是 apache 提供的解壓縮工具包，對于各種壓縮算法提供一致的抽象接口，其中對于 brotli 算法只支持解壓，這里足夠了。org.brotli:dec 包是 Google 提供的 brotli 解壓算法的底層實現。

實現 initialize 方法

public class ChromeDemo implements  FunctionInitializer {
    public void initialize(Context context) throws IOException {
        Instant start = Instant.now();
        try (TarArchiveInputStream in =
                     new TarArchiveInputStream(
                             new BrotliCompressorInputStream(
                                     new BufferedInputStream(
                                             new FileInputStream("chromedriver.tar.br"))))) {
            TarArchiveEntry entry;
            while ((entry = in.getNextTarEntry()) != null) {
                if (entry.isDirectory()) {
                    continue;
                }
                File file = new File("/tmp/bin", entry.getName());
                File parent = file.getParentFile();
                if (!parent.exists()) {
                    parent.mkdirs();
                }
                System.out.println("extract file to " + file.getAbsolutePath());
                try (FileOutputStream out = new FileOutputStream(file)) {
                    IOUtils.copy(in, out);
                }
                Files.setPosixFilePermissions(file.getCanonicalFile().toPath(),
                        getPosixFilePermission(entry.getMode()));
            }
        }
        Instant finish = Instant.now();
        long timeElapsed = Duration.between(start, finish).toMillis();
        System.out.println("Extract binary elapsed: " + timeElapsed + "ms");
    }
}

實現 FunctionInitializer 接口的 initialize 方法。解壓過程剛開始是四層嵌套流，作用分別如下：

1. FileInputStream 讀取文件

2. BufferedInputStream 提供緩存，介紹系統調用帶來的上下文切換，提示讀取的速度

3. BrotliCompressorInputStream 對字節流進行解碼

4. TarArchiveInputStream 把 tar 包里的文件逐個解出來

然后 Files.setPosixFilePermissions 的作用是還原 tar 包中文件的權限。代碼太長此處略去，參閱 packed-selenium-java-example

Instant start = Instant.now();
...
Instant finish = Instant.now();
long timeElapsed = Duration.between(start, finish).toMillis();
System.out.println("Extract binary elapsed: " + timeElapsed + "ms");

上面的代碼段會打印出解壓的耗時，真實執行大概在 3.7 s 左右。

最后不要忘記在 template.yml 里配置上 Initializer 和 InitializationTimeout

以上就是如何使用brotli壓縮大文件，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。