步驟拆解:使用ES做分桶聚合又聚合

題目

已知:es里存儲(chǔ)了一套在線數(shù)據(jù)索引:log_online
存儲(chǔ)了從多個(gè)服務(wù)器按每分鐘一次的頻率統(tǒng)計(jì)的,各服務(wù)器在線人數(shù)
求:系統(tǒng)內(nèi)在線人數(shù)的曲線圖數(shù)據(jù)

規(guī)則:

  1. 在線人數(shù)的最小統(tǒng)計(jì)粒度是1分鐘。在線人數(shù) = 某一時(shí)刻,所有服務(wù)器的在線人數(shù)總和
  2. 如果按每10分鐘統(tǒng)計(jì),按10分鐘內(nèi)的最高在線人數(shù)統(tǒng)計(jì)

思路

  1. 需要先統(tǒng)計(jì)出每分鐘,在線人數(shù)總和sum
    第一個(gè)聚合:group_by_min,聚合方式:時(shí)間,每分鐘
    聚合后的統(tǒng)計(jì)方式:sum
"aggs": {
  "group_by_min": {
     "date_histogram": {
       "field":  "log_time",
       "fixed_interval": "1m",
       "min_doc_count": 0
     },
   "aggs": {
     "sum_online": {
       "sum": {
          "field": "online"
       }
     }
   }
  }
}
  1. 基于步驟1的結(jié)果,再根據(jù)要統(tǒng)計(jì)的粒度:比如每小時(shí),再聚合。用max_bucket找出每個(gè)分桶的最大值
 "aggs": {
    "group_by_hour": {
      "date_histogram": {
        "field": "log_time",
        "fixed_interval": "1h",
        "format": "yyyy-MM-dd HH",
        "time_zone": "+08:00", 
        "min_doc_count": 0
      },
      "aggs": {
        "group_by_min": {
          "date_histogram": {
            "field": "log_time",
            "fixed_interval": "1m",
            "format": "yyyy-MM-dd HH:mm:ss",
            "time_zone": "+08:00",
            "min_doc_count": 0
          },
          "aggs": {
            "sum_online": {
              "sum": {
                "field": "online"
              }
            }
          }
        },
        "max_aggs": {
          "max_bucket": {
            "buckets_path": "group_by_min>sum_online"
          }
        }
      }
    }
  }
  1. 進(jìn)過(guò)兩次聚合,數(shù)據(jù)已經(jīng)非常多了,而實(shí)際要返回的數(shù)據(jù)其實(shí)只是每個(gè)時(shí)段的最高在線人數(shù),和時(shí)段的值,這個(gè)需要通過(guò)filter_path
GET /log_online/_search?filter_path=aggregations.group_by_hour.buckets.max_aggs.value,aggregations.group_by_hour.buckets.key,aggregations.group_by_hour.buckets.key_as_string
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容