JMH: 最裝逼，最牛逼的基準(zhǔn)測(cè)試工具套件

JMH簡(jiǎn)介

官網(wǎng)：http://openjdk.java.net/projects/code-tools/jmh/

簡(jiǎn)介：JMH is a Java harness for building, running, and analysing nano/micro/milli/macro benchmarks written in Java and other languages targetting the JVM，由簡(jiǎn)介可知，JMH不止能對(duì)Java語言做基準(zhǔn)測(cè)試，還能對(duì)運(yùn)行在JVM上的其他語言做基準(zhǔn)測(cè)試。而且可以分析到納秒級(jí)別。

推薦用法

官方推薦創(chuàng)建一個(gè)獨(dú)立的Maven工程來運(yùn)行JMH基準(zhǔn)測(cè)試，這樣更能確保結(jié)果的準(zhǔn)確性。當(dāng)然也可以在已存在的工程中，或者在IDE上運(yùn)行，但是越復(fù)雜，結(jié)果越不可靠（more complex and the results are less reliable）。

簡(jiǎn)單實(shí)用

推薦用法通過命令行創(chuàng)建，構(gòu)建和運(yùn)行JMH基準(zhǔn)測(cè)試。

setup

生成一個(gè)新的JMH工程的maven命令如下：

 mvn archetype:generate 
 -DinteractiveMode=false 
 -DarchetypeGroupId=org.openjdk.jmh 
 -DarchetypeArtifactId=jmh-java-benchmark-archetype 
 -DgroupId=com.afei.jmh 
 -DartifactId=jmh 
 -Dversion=1.0.0-SNAPSHOT

執(zhí)行該命令后，會(huì)創(chuàng)建一個(gè)Maven工程，但是默認(rèn)生成的MyBenchmark.java并沒有在預(yù)期的包名com/afei/jmh中，即使加上參數(shù)-DpackageName=com.afei.jmh也不行，只能先手動(dòng)將其挪到包名下，這里作為一個(gè)小小的遺留問題。

壓測(cè)代碼

默認(rèn)生成的MyBenchmark.java源碼如下，testMethod()中就是你要壓測(cè)的代碼，下面是筆者要壓測(cè)的洗牌算法:

@Warmup(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)
@Measurement(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)
@Fork(1)
@BenchmarkMode(Mode.AverageTime)
@OutputTimeUnit(TimeUnit.NANOSECONDS)
public class MyBenchmark {

    @GenerateMicroBenchmark
    public List<Integer> testMethod() {
        int cardCount = 54;
        List<Integer> cardList = new ArrayList<Integer>();
        for (int i=0; i<cardCount; i++){
            cardList.add(i);
        }
        // 洗牌算法
        Random random = new Random();
        for (int i=0; i<cardCount; i++) {
            int rand = random.nextInt(cardCount);
            Collections.swap(cardList, i, rand);
        }
        return cardList;
    }

}

build

寫完代碼接下來就是構(gòu)建并打包，在pom.xml所在目錄執(zhí)行如下命令：

mvn clean package

說明：這一步，也可以通過IDE工具構(gòu)建打包。

running

打包成功后在target目錄下生成了一個(gè)JAR文件：microbenchmarks.jar，需要注意的是，官網(wǎng)的運(yùn)行命令是java -jar target/benchmarks.jar，至于到底是benchmarks.jar還是microbenchmarks.jar，取決于你的POM文件：

<configuration>
    <finalName>microbenchmarks</finalName>
    <transformers>
        <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
            <mainClass>org.openjdk.jmh.Main</mainClass>
        </transformer>
    </transformers>
</configuration>

筆者生成的maven工程是microbenchmarks，所以，運(yùn)行時(shí)執(zhí)行如下命令：

java -jar target/microbenchmarks.jar

輸出結(jié)果如下：

# Run progress: 0.00% complete, ETA 00:00:10
# VM invoker: C:\Program Files\Java\jre1.8.0_181\bin\java.exe
# VM options: <none>
# Fork: 1 of 1
# Warmup: 5 iterations, 1 s each
# Measurement: 5 iterations, 1 s each
# Threads: 1 thread, will synchronize iterations
# Benchmark mode: Average time, time/op
# Benchmark: com.afei.jmh.MyBenchmark.testMethod
# Warmup Iteration   1: 1133.738 ns/op
# Warmup Iteration   2: 1169.750 ns/op
# Warmup Iteration   3: 1066.204 ns/op
# Warmup Iteration   4: 1086.300 ns/op
# Warmup Iteration   5: 1145.228 ns/op
Iteration   1: 1045.157 ns/op
Iteration   2: 1064.303 ns/op
Iteration   3: 1064.227 ns/op
Iteration   4: 1053.979 ns/op
Iteration   5: 1055.718 ns/op

Result : 1056.677  ±(99.9%) 30.809 ns/op
  Statistics: (min, avg, max) = (1045.157, 1056.677, 1064.303), stdev = 8.001
  Confidence interval (99.9%): [1025.868, 1087.486]

Benchmark                        Mode   Samples         Mean   Mean error    Units
c.a.j.MyBenchmark.testMethod     avgt         5     1056.677       30.809    ns/op

結(jié)果解讀

下面對(duì)輸出結(jié)果一些重要信息進(jìn)行解讀：

@Warmup

由于筆者加了這個(gè)注解：@Warmup(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)。所以，基準(zhǔn)測(cè)試后對(duì)代碼預(yù)熱總計(jì)5秒（迭代5次，每次1秒）。預(yù)熱對(duì)于壓測(cè)來說非常非常重要，如果沒有預(yù)熱過程，壓測(cè)結(jié)果會(huì)很不準(zhǔn)確。這個(gè)注解對(duì)應(yīng)的日志如下：

# Warmup Iteration   1: 1133.738 ns/op
# Warmup Iteration   2: 1169.750 ns/op
# Warmup Iteration   3: 1066.204 ns/op
# Warmup Iteration   4: 1086.300 ns/op
# Warmup Iteration   5: 1145.228 ns/op

@Measurement

另外一個(gè)重要的注解：@Measurement(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)，表示循環(huán)運(yùn)行5次，總計(jì)5秒時(shí)間。

@Fork

這個(gè)注解表示fork多少個(gè)線程運(yùn)行基準(zhǔn)測(cè)試，如果@Fork(1)，那么就是一個(gè)線程，這時(shí)候就是同步模式。

@BenchmarkMode&@OutputTimeUnit

基準(zhǔn)測(cè)試模式申明為：@BenchmarkMode(Mode.AverageTime)搭配@OutputTimeUnit(TimeUnit.NANOSECONDS)（可選基準(zhǔn)測(cè)試模式通過枚舉Mode得到），筆者的示例是AverageTime，即表示每次操作需要的平均時(shí)間，而OutputTimeUnit申明為納秒，所以基準(zhǔn)測(cè)試單位是ns/op，即每次操作的納秒單位平均時(shí)間。基準(zhǔn)測(cè)試結(jié)果如下：

Result : 1056.677 ±(99.9%) 30.809 ns/op
  Statistics: (min, avg, max) = (1045.157, 1056.677, 1064.303), stdev = 8.001
  Confidence interval (99.9%): [1025.868, 1087.486]

最后一段結(jié)果如下，重點(diǎn)關(guān)注Mean和Units兩個(gè)字段，組合起來就是1227.928ns/op，即每次操作耗時(shí)1056.677納秒：

Benchmark                        Mode   Samples         Mean   Mean error    Units
c.a.j.MyBenchmark.testMethod     avgt         5     1056.677       30.809    ns/op

如果我們將@BenchmarkMode(Mode.AverageTime)與@OutputTimeUnit(TimeUnit.NANOSECONDS)的組合，改成@BenchmarkMode(Mode.Throughput)和@OutputTimeUnit(TimeUnit.MILLISECONDS)，那么基準(zhǔn)測(cè)試結(jié)果就是每毫秒的吞吐量（即每毫秒多少次操作），結(jié)果如下，表示943.437ops/ms：

Benchmark                        Mode   Samples         Mean   Mean error    Units
c.a.j.MyBenchmark.testMethod    thrpt         5      943.437       44.060   ops/ms

Mean error表示誤差，或者波動(dòng)，與Result的±值對(duì)應(yīng)：Result : 1056.677 ±(99.9%) 30.809 ns/op；

基準(zhǔn)測(cè)試對(duì)比

將自定義洗牌算法和JDK原生的洗牌算法Collections.shuffle(cardList);進(jìn)行基準(zhǔn)測(cè)試對(duì)比，結(jié)果如下：

- ops/ms ns/op
JDK原生洗牌算法 807.470 1149.900
自定義洗牌算法（for循環(huán)外面new Random） 943.437 1056.677
自定義洗牌算法（for循環(huán)里面new Random） 300.467 3346.509

Random在for循環(huán)里面的源碼如下：

for (int i=0; i<cardCount; i++) {
    Random random = new Random();
    int rand = random.nextInt(cardCount);
    Collections.swap(cardList, i, rand);
}

說明，自定義洗牌算法事實(shí)上就是JDK自帶洗牌算法中集合的size少于SHUFFLE_THRESHOLD（這個(gè)值為5）時(shí)的實(shí)現(xiàn)。另外，由基準(zhǔn)測(cè)試對(duì)比可知，for循環(huán)里面不斷new Random的性能相比只在for循環(huán)外面new Random一次的性能要差好3倍左右。

另外，在集合的size超過SHUFFLE_THRESHOLD即5后JDK原生洗牌算法，相比size少于該值得洗牌算法性能并沒有提高，兩者性能差在10%左右，基本可以忽略。這里想不明白，JDK原生洗牌算法在集合的size超過SHUFFLE_THRESHOLD的優(yōu)化的意思，當(dāng)然也可能跟筆者基準(zhǔn)測(cè)試樣本有關(guān)（畢竟筆者只測(cè)試了size為54的集合）。

JMH和jMeter的不同

JMH和jMeter的使用場(chǎng)景還是有很大的不同的，jMeter更多的是對(duì)rest api進(jìn)行壓測(cè)，而JMH關(guān)注的粒度更細(xì)，它更多的是發(fā)現(xiàn)某塊性能槽點(diǎn)代碼，然后對(duì)優(yōu)化方案進(jìn)行基準(zhǔn)測(cè)試對(duì)比。比如json序列化方案對(duì)比，bean copy方案對(duì)比，文中提高的洗牌算法對(duì)比等。

案例參考

官方給了很多樣例代碼，有興趣的同學(xué)可以自己查詢并學(xué)習(xí)JMH：http://hg.openjdk.java.net/code-tools/jmh/file/tip/jmh-samples/src/main/java/org/openjdk/jmh/samples/

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具（例如配置管理，服務(wù)發(fā)現(xiàn)，斷路器，智...
    卡卡羅2017閱讀 136,595評(píng)論 19贊 139
  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 179,119評(píng)論 25贊 709
  • 1.炒股 不能追漲殺跌，一追漲就失去先手，買入成本價(jià)就比較高，沒有成本優(yōu)勢(shì)。 一般來說追高買入，買入價(jià)會(huì)比較高，而...
    shanshukeng閱讀 415評(píng)論 0贊 0
  • 困啦，睡吧，又玩一晚上，花了28 大餐額 最得意的說 永紅要走了，他們都要支教啦， 對(duì)了我居然問報(bào)教師資格證的人要...
    宋長(zhǎng)金j閱讀 107評(píng)論 0贊 0
  • 有些人活成了自己生命的旁觀者。 成長(zhǎng)的路上有一條彎路，叫活成了自己生命的旁觀者。 學(xué)習(xí)相同的心理學(xué)課程，有人飛快的...
    梓茗森林閱讀 314評(píng)論 0贊 0

友情鏈接更多精彩內(nèi)容