引言 我所經(jīng)歷的大部分是 Java 應用, Java 語言的一個特性就是不需要使用者管理內(nèi)存,Java 語言提供了管理內(nèi)存的利器=》垃圾回收器。...
背景 在上一期介紹了 Gravitino 的概念以及解決了什么問題,現(xiàn)在介紹下 Gravitino 如何與 Spark 集成,畢竟 Spark ...
一、背景介紹 某Java應用,堆內(nèi)存5.6GB,GC停頓時間過長,年輕代GC也經(jīng)常超過1秒,影響響應和系統(tǒng)穩(wěn)定性。初始GC參數(shù): 堆中年輕代占比...
三年前來到公司大數(shù)據(jù)團隊,算是入了大數(shù)據(jù)的坑。一開始對大數(shù)據(jù)的組件不是很了解,一路走來在不停地學習探索。上周遇到了一個問題,我們數(shù)據(jù)地圖的服務在...
這是我在排查一個開源項目 Gravitino[https://github.com/apache/gravitino] 線上問題時的實戰(zhàn)記錄。起...
摘要 本文深入分析了 Apache Hive Metastore 中 ALTER TABLE 操作,重點探討了不同場景下分區(qū)元數(shù)據(jù)的更新策略。通...
什么是 Gravitino 引用官方文檔 Apache Gravitino 是一個高性能、地理分布式、聯(lián)邦式元數(shù)據(jù)湖。它能夠直接管理不同數(shù)據(jù)源、...
前置知識: RDD 與算子: RDD(類似 Stream) RDD(彈性分布式數(shù)據(jù)集)是 Spark 的核心抽象,代表一個分布式的、不可變的數(shù)據(jù)...
函數(shù)組合是一項把多個函數(shù)合并到一個函數(shù)的技術。你可以自己將多個獨立的函數(shù)合并成一個函數(shù)(比如一個或多個 Java Lambda 表達式),但是對...