原文：https://source.android.com/devices/tech/perf/pgo

Android編譯系統(tǒng)支持在具有blueprint構(gòu)建規(guī)則的Android native 模塊上使用Clang的配置文件引導優(yōu)化（PGO）。本文描述Clang PGO如何持續(xù)生成和更新用于PGO的配置文件，以及如何將PGO與編譯系統(tǒng)集成（使用用例）。

關(guān)于Clang PGO

Clang可以使用兩種類型的配置文件執(zhí)行配置文件引導優(yōu)化：

• 基于檢測的配置文件是從檢測的目標程序生成的。這些配置文件很詳細，并且會產(chǎn)生高運行時開銷。
• 基于采樣的配置文件通常通過采樣硬件計數(shù)器來生成。它們會產(chǎn)生低運行時開銷，并且無需對二進制文件進行任何檢測或修改即可收集。它們沒有基于檢測的配置文件詳細。

所有配置文件應(yīng)該從應(yīng)用程序的典型行為的代表性工作負載生成。雖然Clang同時支持基于AST的（-fprofile-instr-generate）和基于LLVM IR的（-fprofile-generate)，Android僅支持基于LLVM IR的基于檢測的PGO。

構(gòu)建配置文件集合需要以下標志：

• -fprofile-generate用于基于IR的儀器。使用此選項，后端使用加權(quán)最小生成樹方法來減少檢測點的數(shù)量并優(yōu)化它們在低權(quán)重邊緣的位置（對于鏈接步驟也使用此選項）。Clang驅(qū)動程序自動將運行時配置（libclang_rt.profile-*arch*-android.a）傳遞給鏈接器。該庫包含在程序退出時將配置文件寫入磁盤的例程。
• -gline-tables-only 用于基于采樣的配置文件收集，以生成最少的調(diào)試信息

配置文件可使用-fprofile-instr-use=*pathname*或-fprofile-instr-use=*pathname*來用于PGO，分別對應(yīng)基于檢測的配置文件和基于采樣的配置文件。

注：當對代碼進行更改時，如果Clang無法再使用配置文件數(shù)據(jù)，則會生成 -Wprofile-instr-out-of-date警告。

使用PGO

使用PGO涉及以下步驟：

1. 通過傳遞-fprofile-generate給編譯器和鏈接器來構(gòu)建帶有檢測的庫/可執(zhí)行文件 。
2. 通過在檢測二進制文件上運行代表性工作負載來收集配置文件
3. 使用該llvm-profdata實用程序?qū)ε渲梦募M行后處理（有關(guān)詳細信息，請參閱處理LLVM配置文件）。
4. 通過傳遞-fprofile-use=<>.profdata給編譯器和鏈接器來將配置文件應(yīng)用于PGO 。

對于Android中的PGO，應(yīng)該離線收集配置文件并與代碼一起檢查以確保可重現(xiàn)的構(gòu)建。配置文件可以用作代碼演變，但必須定期重新生成（或者每當Clang警告配置文件是陳舊的時）。

收集配置文件

Clang可以使用通過運行基準測試收集的配置文件，使用庫的檢測構(gòu)建，或者在運行基準測試時通過采樣硬件計數(shù)器。目前，Android不支持使用基于采樣的配置文件集合，因此您必須使用經(jīng)過檢測的構(gòu)建來收集配置文件：

1. 確定基準和由該基準共同行使的一組庫。
2. 添加pgo屬性到基準和庫（詳細信息如下）。
3. 使用以下方法生成帶有這些庫的檢測副本的Android構(gòu)建：

make ANDROID_PGO_INSTRUMENT=benchmark

*benchmark*是一個占位符，用于標識在構(gòu)建期間檢測的庫集合。實際的代表性輸入（以及可能與被基準測試的庫鏈接的另一個可執(zhí)行文件）并非特定于PGO，超出了本文檔的范圍。

1. 在設(shè)備上Flash或同步已檢測的構(gòu)建。
2. 運行基準測試以收集配置文件。
3. 使用該llvm-profdata工具（下面討論）對配置文件進行后處理，并準備好將其簽入源樹。

在構(gòu)建期間使用配置

在Android樹中檢查配置文件toolchain/pgo-profiles。該名稱應(yīng)與庫profile_file的pgo屬性的子屬性中指定的名稱匹配 。構(gòu)建庫時，構(gòu)建系統(tǒng)會自動將配置文件傳遞給Clang。該ANDROID_PGO_DISABLE_PROFILE_USE 環(huán)境變量可以被設(shè)置為true來暫時禁用PGO和衡量其性能優(yōu)勢。

要指定其他特定于產(chǎn)品的配置文件目錄，請將它們附加到BoardConfig.mk里的make變量PGO_ADDITIONAL_PROFILE_DIRECTORIES中。如果指定其他路徑，這些路徑配置文件覆蓋在toolchain/pgo-profiles中的路徑。

使用dist目標來make生成發(fā)布映像時，構(gòu)建系統(tǒng)會將缺失的配置文件的名稱寫入$DIST_DIR/pgo_profile_file_missing.txt。您可以檢查此文件以查看意外刪除的配置文件（靜默禁用PGO）。

在Android.bp文件中啟用PGO

要在Android.bp文件中為native 模塊啟用PGO ，只需指定pgo屬性即可。此屬性具有以下子屬性：

帶PGO的模塊示例：

cc_library {
    name: "libexample",
    srcs: [
        "src1.cpp",
        "src2.cpp",
    ],
    static: [
        "libstatic1",
        "libstatic2",
    ],
    shared: [
        "libshared1",
    ]
    pgo: {
        instrumentation: true,
        benchmarks: [
            "benchmark1",
            "benchmark2",
        ],
        profile_file: "example.profdata",
    }
}

如果基準benchmark1和benchmark2 行使代表行為庫libstatic1， libstatic2或者libshared1，則這些庫的pgo屬性也包含基準。Android.bp中的defaults模塊可include一個一系列庫的共通pgo定義，以避免多個模塊重復相同的構(gòu)建規(guī)則。

為一個架構(gòu)選擇不同的配置文件或選擇性地禁用PGO，需要指定每個體系結(jié)構(gòu)的profile_file， enable_profile_use以及cflags屬性。例如（架構(gòu)目標以粗體顯示）：

cc_library {
    name: "libexample",
    srcs: [
          "src1.cpp",
          "src2.cpp",
    ],
    static: [
          "libstatic1",
          "libstatic2",
    ],
    shared: [
          "libshared1",
    ],
    pgo: {
         instrumentation: true,
         benchmarks: [
              "benchmark1",
              "benchmark2",
         ],
    }

    target: {
         android_arm: {
              pgo: {
                   profile_file: "example_arm.profdata",
              }
         },
         android_arm64: {
              pgo: {
                   profile_file: "example_arm64.profdata",
              }
         }
    }
}

要在基于檢測的分析期間解析對分析運行時庫的引用，請將構(gòu)建標志 -fprofile-generate傳遞給鏈接器。使用PGO檢測的靜態(tài)庫，所有共享庫以及直接依賴于靜態(tài)庫的任何二進制文件也必須為PGO進行檢測。但是，此類共享庫或可執(zhí)行文件不需要使用PGO配置文件，并且其enable_profile_use屬性可以被設(shè)置為false。除此限制外，您可以將PGO應(yīng)用于任何靜態(tài)庫，共享庫或可執(zhí)行文件。

處理LLVM配置文件

執(zhí)行一個檢測庫或可執(zhí)行文件在/data/local/tmp中生成一個名為default_*unique_id*_0.profraw的配置文件 （其中unique_id是此庫唯一的數(shù)字哈希值）。如果此文件已存在，則分析運行時會在編寫配置文件時將新配置文件與舊配置文件合并。要更改配置文件的位置，請在運行時設(shè)置LLVM_PROFILE_FILE環(huán)境變量。

[llvm-profdata](https://llvm.org/docs/CommandGuide/llvm-profdata.html)實用程序用于將.profraw文件（并可能合并多個.profraw文件）轉(zhuǎn)換為.profdata 文件：

llvm-profdata merge -output=profile.profdata <.profraw and/or .profdata files>

然后*profile.profdata* 可被簽入源碼樹以便在構(gòu)建時使用。

如果在基準測試期間加載了多個檢測二進制文件/庫，則每個庫都會生成一個具有唯一ID 的獨立.profraw文件。通常，所有這些文件都可以合并為單個 .profdata文件并用于PGO構(gòu)建。如果庫由另一個基準測試執(zhí)行，則必須使用兩個基準測試的配置文件優(yōu)化該庫。在這種情況下，show 選項llvm-profdata是有用的：

llvm-profdata merge -output=default_unique_id.profdata default_unique_id_0.profraw
llvm-profdata show -all-functions default_unique_id.profdata

要將unique_id映射到單個庫，請在每個unique_id的show輸出中搜索該庫唯一的函數(shù)名稱。

案例研究：ART的PGO

案例研究將ART作為一個相關(guān)的例子; 但是，它并不能準確描述為ART或其相互依賴性分析的實際庫集。

ART中的dex2oat預編譯器依賴于 libart-compiler.so，而后者依賴于 libart.so。ART運行時主要在 libart.so中實現(xiàn)。編譯器和運行時的基準將是不同的：

1. 將以下pgo屬性添加到dex2oat， libart-compiler.so：

    pgo: {
        instrumentation: true,
        benchmarks: ["dex2oat",],
        profile_file: "dex2oat.profdata",
    }

2. 將以下pgo屬性添加到libart.so：

    pgo: {
        instrumentation: true,
        benchmarks: ["art_runtime", "dex2oat",],
        profile_file: "libart.profdata",
    }

3. 使用以下方法為dex2oat和 art_runtime基準創(chuàng)建檢測構(gòu)建：

    make ANDROID_PGO_INSTRUMENT=dex2oat
    make ANDROID_PGO_INSTRUMENT=art_runtime

或者，使用以下方法創(chuàng)建一個具有所有庫檢測的單個檢測構(gòu)建：

    make ANDROID_PGO_INSTRUMENT=dex2oat,art_runtime
    (or)
    make ANDROID_PGO_INSTRUMENT=ALL

第二個命令構(gòu)建所有啟用PGO的模塊以進行性能分析。

4. 運行基準測試dex2oat和 art_runtime以獲得：
   • 來自dex2oat （dex2oat_exe.profdata， dex2oat_libart-compiler.profdata和dexeoat_libart.profdata）的三個.profraw文件，使用處理LLVM配置文件中描述的方法進行標識。
   • 單個art_runtime_libart.profdata文件。
5. 為dex2oat可執(zhí)行文件和 libart-compiler.so使用生成一個通用的profdata文件：

llvm-profdata merge -output=dex2oat.profdata \
    dex2oat_exe.profdata dex2oat_libart-compiler.profdata

6. 通過合并兩個基準測試中的配置文件來獲取libart.so的配置文件：

llvm-profdata merge -output=libart.profdata \
    dex2oat_libart.profdata art_runtime_libart.profdata

libart.so的兩個配置文件的原始計數(shù)可能是不同的，因為基準測試用例的數(shù)量和運行的持續(xù)時間不同。在這種情況下，您可以使用加權(quán)合并：

llvm-profdata merge -output=libart.profdata \
    -weighted-input=2,dex2oat_libart.profdata \
    -weighted-input=1,art_runtime_libart.profdata

上面的命令為 dex2oat配置文件賦予兩倍的權(quán)重。實際權(quán)值應(yīng)根據(jù)域知識或?qū)嶒灤_定。

7. 將dex2oat.profdata和 libart.profdata配置文件簽入到toolchain/pgo-profiles以便構(gòu)建時使用。