發(fā)簡信
IP屬地：上海
-
快速上手 | Datavines 兩表值比對規(guī)則用法
Datavines 是一站式開源數(shù)據(jù)可觀測性平臺，提供元數(shù)據(jù)管理、數(shù)據(jù)概覽報告、數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)分布查詢、數(shù)據(jù)趨勢洞察等核心能力，致力于幫助用...
-
教程 | Datavines 自定義數(shù)據(jù)質(zhì)量檢查規(guī)則（Metric）
Metric 是 Datavines 中一個核心概念，一個 Metric 表示一個數(shù)據(jù)質(zhì)量檢查規(guī)則，比如空值檢查和表行數(shù)檢查都是一個規(guī)則。Met...
-
一站式數(shù)據(jù)可觀測性平臺 Datavines 正式開源啦Datavines是一站式開源數(shù)據(jù)可觀測性平臺，提供元數(shù)據(jù)管理、數(shù)據(jù)概覽報告、數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)分布查詢、數(shù)據(jù)趨勢洞察等核心能力，致力于幫助用戶...
-
數(shù)據(jù)可觀測性-架構(gòu)設(shè)計整體架構(gòu) Datavines [github][https://github.com/datavane/datavines] 是一個數(shù)據(jù)可觀測性...
-
數(shù)據(jù)可觀測性-功能設(shè)計
數(shù)據(jù)目錄管理 數(shù)據(jù)源管理 查看、創(chuàng)建、編輯、刪除 元數(shù)據(jù)獲取手動執(zhí)行定時執(zhí)行 數(shù)據(jù)源類型管理 創(chuàng)建數(shù)據(jù)源類型時需要添加類型的元數(shù)據(jù)模型定義，模型...
-
數(shù)據(jù)可觀測性，下一個數(shù)據(jù)工程前沿
概述 隨著越來越多的數(shù)據(jù)在企業(yè)中被復(fù)制和移動，數(shù)據(jù)管道成為了數(shù)據(jù)的高速公路。數(shù)據(jù)管道的有效性和可靠性將愈發(fā)的重要。數(shù)據(jù)的可觀測性側(cè)重于管理數(shù)據(jù)的...
-
SparkSteaming運行流程分析以及CheckPoint操作
本文主要通過源碼來了解SparkStreaming程序從任務(wù)生成到任務(wù)完成整個執(zhí)行流程以及中間伴隨的checkpoint操作 注：下面源碼只貼出...
-
【翻譯】Spark Streaming 管理 Kafka Offsets 的方式探討Cloudera Engineering Blog 翻譯：Offset Management For Apache Kafka With Apa...
-
HashSet和CopyOnWriteArraySet
前言 這篇文章的目的如下： HashSet是如何保證元素的不重復(fù)和無序 HashSet的增刪（改查？）原理 CopyOnWriteArraySe...