報告（Reporter）

通過 conf/flink-conf.yaml 文件配置一個或多個 Reporters 來暴露度量值給外部系統(tǒng)，這些 Reporter 將在作業(yè)和任務啟動的時候實例化。

• metrics.reporter.<name>.<config>：名字為 <name> 的 Reporter 的通用設置
• metrics.reporter.<name>.class：名字為 <name> 的 Reporter class
• metrics.reporter.<name>.interval：名字為 <name> 的 Reporter 的間隔時間
• metrics.reporter.<name>.scope.delimiter：名字為 <name> 的 Reporter 的標識符的分隔符（默認使用 metrics.scope.delimiter）
• metrics.reporters：（可選）以逗號分隔的包含報告名稱列表。默認情況下，將使用所有已配置的報告。

所有的 Reporter 配置至少需要配置 class 屬性，還有一些允許配置記錄間隔。下面是一些 Reporter 的配置實例：

metrics.reporters: my_jmx_reporter,my_other_reporter

metrics.reporter.my_jmx_reporter.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.my_jmx_reporter.port: 9020-9040

metrics.reporter.my_other_reporter.class: org.apache.flink.metrics.graphite.GraphiteReporter
metrics.reporter.my_other_reporter.host: 192.168.1.1
metrics.reporter.my_other_reporter.port: 10000

包含 Reporter 的 jar 必須放到 /lib 文件夾，這樣 Flink 就可以訪問到這些 jar。
可以通過繼承 org.apache.flink.metrics.reporter.MetricReporter 接口來實現自己的 Reporter，如果需要定期發(fā)送記錄，需要繼承 Scheduled 接口。

下面是一些支持的 Reporter：

JMX（org.apache.flink.metrics.jmx.JMXReporter）

不需要添加額外的依賴就可以支持 JMX Reporter，默認是不激活的。

參數：

• port - （可選）JMX 連接監(jiān)聽的端口。為了能夠在一個主機上運行多個 Reporter 實例（例如，當一個 TaskManager 與 JobManager 共同使用時），建議端口范圍（如 9250-9260），實際端口將顯示在相關作業(yè)或 TaskManager 日志中。如果設置此設置，Flink 將為給定的端口/范圍啟動額外的 JMX 連接器。度量指標將在本地默認的JMX實例上顯示。

配置示例：

metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 8789

通過 JMX 公開的度量由域（domain）和鍵屬性列表（key-properties）標識，這些屬性一起構成對象名。

域始終以 org.apache.flink 開頭，后跟一個通用的度量標識符。與通常的標識符不同，它不受作用域格式的影響，不包含任何變量，并且在跨作業(yè)時也是常量。例子：org.apache.flink.job.task.numbytesout。

鍵屬性列表包含與給定指標關聯的所有變量的值，無論配置的作用域格式如何。例子：host=localhost,job_name=myjob,task_name=mytask。

因此，域標識一個度量類，鍵屬性列表標識該度量的一個（或多個）實例。

Ganglia（org.apache.flink.metrics.ganglia.GangliaReporter）

要使用此 Reporter，必須復制 /opt/flink-metrics-ganglia-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夾下。

參數：

• host - 在 gmond.conf 中的 udp_recv_channel.bind 下配置的 gmond 主機地址
• port - 在 gmond.conf 的 udp_recv_channel.port 下配置的 gmond 端口
• tmax - 舊指標應保留多長時間的軟限制
• dmax - 舊指標應保留多長時間的硬限制
• ttl - 傳輸的 UDP 包的生存時間
• addressingMode - 要使用的 UDP 尋址模式（單播/多播）

配置示例：

metrics.reporter.gang.class: org.apache.flink.metrics.ganglia.GangliaReporter
metrics.reporter.gang.host: localhost
metrics.reporter.gang.port: 8649
metrics.reporter.gang.tmax: 60
metrics.reporter.gang.dmax: 0
metrics.reporter.gang.ttl: 1
metrics.reporter.gang.addressingMode: MULTICAST

Graphite（org.apache.flink.metrics.graphite.GraphiteReporter）

要使用此 Reporter，必須復制 /opt/flink-metrics-graphite-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夾下。

參數：

• host - Graphite 服務器主機地址
• port - Graphite 服務器端口
• protocol - 使用協(xié)議（TCP / UDP）

配置示例：

metrics.reporter.grph.class: org.apache.flink.metrics.graphite.GraphiteReporter
metrics.reporter.grph.host: localhost
metrics.reporter.grph.port: 2003
metrics.reporter.grph.protocol: TCP

Prometheus （org.apache.flink.metrics.prometheus.PrometheusReporter）

要使用此 Reporter，必須復制 /opt/flink-metrics-prometheus-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夾下。

參數：

• port - （可選）Prometheus exporter 監(jiān)聽的端口，默認為 9249。為了能夠在一個主機上運行多個報告實例（例如，當一個 TaskManager 與 JobManager 共同使用時），建議使用端口范圍（如：9250-9260）。

配置示例：

metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter

Flink 度量類型映射到 Prometheus 度量類型，如下所示：

PrometheusPushGateway（org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter）

要使用此 Reporter，必須復制 /opt/flink-metrics-prometheus-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夾下。

參數：

配置示例：

metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: localhost
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: myJob
metrics.reporter.promgateway.randomJobNameSuffix: true
metrics.reporter.promgateway.deleteOnShutdown: false

PrometheusPushGatewayReporter 將指標推送到 Pushgateway，可由 Prometheus 抓取。

StatsD（org.apache.flink.metrics.statsd.StatsDReporter）

要使用此 Reporter，必須復制 /opt/flink-metrics-statsd-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夾下。
參數：

• host - StatsD 服務器主機
• port - StatsD 服務器端口

配置示例：

metrics.reporter.stsd.class: org.apache.flink.metrics.statsd.StatsDReporter
metrics.reporter.stsd.host: localhost
metrics.reporter.stsd.port: 8125

Datadog（org.apache.flink.metrics.datadog.DatadogHttpReporter）

要使用此 Reporter，必須復制 /opt/flink-metrics-datadog-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夾下。
Flink 指標，如任何變量 <host>，<job_name>，<tm_id>，<subtask_index>，<task_name> 和 <operator_name>，將被發(fā)送到 Datadog 作為標簽。標簽看起來像 host:localhost 和 job_name:myjobname。

參數：

• apikey - Datadog APIKeys
• tags - （可選）發(fā)送到 Datadog 時將應用于度量標準的全局標記。標簽應僅以逗號分隔

配置示例：

metrics.reporter.dghttp.class: org.apache.flink.metrics.datadog.DatadogHttpReporter
metrics.reporter.dghttp.apikey: xxx
metrics.reporter.dghttp.tags: myflinkapp,prod

Slf4j（org.apache.flink.metrics.slf4j.Slf4jReporter）

要使用此 Reporter，必須復制 /opt/flink-metrics-slf4j-1.6.1-SNAPSHOT.jar 到 Flink 的 /lib 文件夾下。

配置示例：

metrics.reporter.slf4j.class: org.apache.flink.metrics.slf4j.Slf4jReporter
metrics.reporter.slf4j.interval: 60 SECONDS

系統(tǒng)指標

Flink 默認會收集當前狀態(tài)的指標，下文的表格中包括以下5列：

• “Scope”列描述了生成系統(tǒng)范圍的范圍格式，比如，如果表格里面的值為“Operator”，那么“metrics.scope.operator”將作為指標的范圍格式。如果表格包含使用斜線分割的多個值，那么系統(tǒng)將根據不同的值分別報告多個指標，比如同時包含 job- 和 taskmanagers 兩個。
• “Infix”（可選）列描述了附加哪個中綴到系統(tǒng)范圍之后。
• “Metrics” 列出了此系統(tǒng)范圍和中綴注冊的所有特性的名字。
• “Description”列描述了指標測量的信息。
• “Type”描述了指標的類型。

請注意，“infix” 和 “Metrics” 列中所有的點根據 “metrics.delimiter” 設置變化。

因此，為了推斷指標的標識符：

1. 先從“Scope”列獲取范圍格式。
2. 如果“Infix”列有值的話，附加到范圍格式后面，并根據“metrices.delimiter”設置附加相應的分隔符。
3. 附加指標的名稱。

CPU

Memory

Threads

GarbageCollection

ClassLoader

Network

Cluster

Availability

Checkpointing

IO

Connectors

Kafka 連接器

Kinesis 連接器

Reference:
https://ci.apache.org/projects/flink/flink-docs-release-1.6/monitoring/metrics.html