在數(shù)據(jù)處理領(lǐng)域,湖倉一體架構(gòu)正逐漸成為解決數(shù)據(jù)存儲(chǔ)與計(jì)算難題的關(guān)鍵方案。B 站在這一領(lǐng)域進(jìn)行了深入探索,基于 Iceberg 構(gòu)建了高效的湖倉一體架構(gòu),并通過智能化管理平臺(tái) ...
在數(shù)據(jù)處理領(lǐng)域,湖倉一體架構(gòu)正逐漸成為解決數(shù)據(jù)存儲(chǔ)與計(jì)算難題的關(guān)鍵方案。B 站在這一領(lǐng)域進(jìn)行了深入探索,基于 Iceberg 構(gòu)建了高效的湖倉一體架構(gòu),并通過智能化管理平臺(tái) ...
隨著大數(shù)據(jù)時(shí)代的到來,數(shù)據(jù)治理成為企業(yè)數(shù)據(jù)管理的核心??焓?,作為一家擁有龐大用戶群體的公司,其數(shù)據(jù)治理平臺(tái)的建設(shè)實(shí)踐具有重要的參考價(jià)值。本文將深入探討快手如何通過元數(shù)據(jù)驅(qū)動(dòng)的...
在云原生時(shí)代,可觀測性成為確保系統(tǒng)穩(wěn)定性和性能的關(guān)鍵。高洪濤,作為Tetrate的創(chuàng)始工程師和Apache ShardingSphere及SkyWalking的核心貢獻(xiàn)者,深...
在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,大數(shù)據(jù)安全已成為企業(yè)發(fā)展的關(guān)鍵基石。本次快手在大數(shù)據(jù)安全平臺(tái)建設(shè)方面的實(shí)踐經(jīng)驗(yàn),展現(xiàn)了快手如何從實(shí)際業(yè)務(wù)需求出發(fā),構(gòu)建起一套完整的大數(shù)據(jù)安全體系。 一、...
在數(shù)字化轉(zhuǎn)型的浪潮中,數(shù)據(jù)安全已成為企業(yè)發(fā)展的關(guān)鍵。微盟,作為領(lǐng)先的云服務(wù)提供商,其在數(shù)據(jù)安全方面的實(shí)踐和策略具有顯著的參考價(jià)值。本文將深入探討微盟的數(shù)據(jù)安全落地方案,特別是...
一、分布式數(shù)據(jù)庫技術(shù)架構(gòu)分類與典型代表 分布式事務(wù)數(shù)據(jù)庫的技術(shù)架構(gòu)可根據(jù)計(jì)算、管理、存儲(chǔ)模塊的組合方式分為三類: 模塊全拆分模式:計(jì)算、管理、存儲(chǔ)模塊獨(dú)立部署。典型代表如 T...
隨著大數(shù)據(jù)時(shí)代的到來,Presto作為一款高性能的分布式SQL查詢引擎,在B站得到了廣泛的應(yīng)用。本文將詳細(xì)介紹Presto在B站的性能優(yōu)化實(shí)踐,包括Presto集群的現(xiàn)狀、L...
一、表掃描優(yōu)化:索引與并行的雙重發(fā)力 在 PostgreSQL 優(yōu)化體系中,表掃描方式的選擇是性能優(yōu)化的基礎(chǔ)切入點(diǎn)。合理運(yùn)用索引可顯著提升查詢效率,例如在等值查詢場景中,未使...
在數(shù)字廣告領(lǐng)域,實(shí)時(shí)數(shù)據(jù)倉庫(數(shù)倉)的建設(shè)對于提高廣告效果和優(yōu)化營銷策略至關(guān)重要。本文將基于美團(tuán)的實(shí)際案例,探討廣告實(shí)時(shí)數(shù)倉的建設(shè)實(shí)踐,包括其應(yīng)用價(jià)值、開發(fā)規(guī)范、質(zhì)量保障,以...
一、傳統(tǒng)數(shù)據(jù)架構(gòu)的困境與湖倉一體的破局 在數(shù)據(jù)爆炸式增長的當(dāng)下,以 MPP、Hadoop 為代表的傳統(tǒng)數(shù)據(jù)處理方案暴露出顯著弊端:技術(shù)棧復(fù)雜難運(yùn)維、數(shù)據(jù)鏈路時(shí)效性差,面對 P...
一、雙中心建設(shè)的核心目標(biāo)與需求拆解 同程旅行在 2021 年啟動(dòng) MySQL 雙中心項(xiàng)目,核心目標(biāo)是實(shí)現(xiàn)機(jī)房級容災(zāi),確保 A 中心故障時(shí) B 中心能獨(dú)立支撐核心業(yè)務(wù),保障服務(wù)...
隨著全球數(shù)據(jù)量的急劇增長,云存儲(chǔ)系統(tǒng)的擴(kuò)展性面臨著前所未有的挑戰(zhàn)。百度云存儲(chǔ)團(tuán)隊(duì)通過不斷創(chuàng)新,推出了TafDB,一個(gè)能夠支撐萬億級紀(jì)錄存儲(chǔ)的元數(shù)據(jù)底座。本文將深入探討TafD...
在數(shù)據(jù)量呈爆發(fā)式增長的當(dāng)下,數(shù)據(jù)存儲(chǔ)與計(jì)算面臨著諸多挑戰(zhàn)。傳統(tǒng)存儲(chǔ)方式下,數(shù)據(jù)存儲(chǔ)產(chǎn)能增長滯后于數(shù)據(jù)的增長速度,存儲(chǔ)成本不斷攀升;同時(shí),單機(jī) CPU 算力也難以匹配數(shù)據(jù)存儲(chǔ)的...
隨著數(shù)字化轉(zhuǎn)型的加速,企業(yè)級數(shù)據(jù)存儲(chǔ)面臨著前所未有的挑戰(zhàn)。數(shù)據(jù)量的爆炸式增長、數(shù)據(jù)類型的多樣化以及數(shù)據(jù)訪問需求的實(shí)時(shí)性,都對數(shù)據(jù)存儲(chǔ)的可靠性和效率提出了更高的要求。本文將探討...