1.2 密碼學(xué)及安全技術(shù) 1.2.1 密碼學(xué)知識 1.2.1.1 Hash函數(shù) Hash(哈希)哈希函數(shù)是一類數(shù)學(xué)函數(shù),可以在有限合理的時(shí)間內(nèi),將任意長度的消息壓縮為固定長度...
1.2 密碼學(xué)及安全技術(shù) 1.2.1 密碼學(xué)知識 1.2.1.1 Hash函數(shù) Hash(哈希)哈希函數(shù)是一類數(shù)學(xué)函數(shù),可以在有限合理的時(shí)間內(nèi),將任意長度的消息壓縮為固定長度...
1.1共識機(jī)制 1.1.1核心定義 區(qū)塊鏈上的共識機(jī)制主要解決由誰來構(gòu)造區(qū)塊,以及如何維護(hù)區(qū)塊鏈統(tǒng)一的問題 1.1.2共識機(jī)制分類 1.1.3 共識算法 1.1.3.1 PO...
1 整體架構(gòu) 2 運(yùn)行架構(gòu) Fabric CA(可選) peer:主節(jié)點(diǎn)模塊,負(fù)責(zé)存儲區(qū)塊鏈數(shù)據(jù),運(yùn)行維護(hù)鏈碼 orderer:交易打包,排序模塊 cryptogen:組織和...
1 橢圓曲線密碼學(xué) 橢圓曲線密碼學(xué)(Elliptic Curve Cryptography,縮寫ECC),是基于橢圓曲線數(shù)學(xué)理論實(shí)現(xiàn)的一種非對稱加密算法。橢圓曲線在密碼學(xué)中的...
數(shù)據(jù)湖-大數(shù)據(jù)生態(tài)殺青數(shù)據(jù)湖-大數(shù)據(jù)生態(tài)殺青 數(shù)據(jù)倉庫的痛點(diǎn) 只能存儲結(jié)構(gòu)化數(shù)據(jù),無法采集存儲非結(jié)構(gòu)化數(shù)據(jù) 無法存儲原始數(shù)據(jù),所有的數(shù)據(jù)須經(jīng)過ETL清洗過程 離線數(shù)倉的數(shù)據(jù)表...
1 redo log(重做日志) 1)InnoDB首先將redo log放入到redo log buffer,然后按一定頻率將其刷新到redo log file。下列三種情況...
1 時(shí)間字段類型 建表時(shí)能用數(shù)值型或日期時(shí)間型表示的字段就不要用字符串,全String 類型在以Hive(hbase)為中心的數(shù)倉建設(shè)中常見,但 ClickHouse 環(huán)境不...
感恩2021,暢想2022 01 工作復(fù)盤 過去的一年里,你能往簡歷中濃妝艷抹地寫幾筆嗎?你學(xué)了什么新的技術(shù)?做了什么大的項(xiàng)目?取得了什么成績?獲得了什么認(rèn)可?這一年你進(jìn)步了...
注冊中心Nacos 1 主流注冊中心對比 2 CAP實(shí)踐 C是所有節(jié)點(diǎn)在同一時(shí)間看到的數(shù)據(jù)是一致的;而A的定義是所有的請求都會(huì)收到響應(yīng)。何時(shí)選擇使用何種模式? 如果不需要存儲...
響應(yīng)式編程 1 spring mvc與spring webflux 兩個(gè)框架都可以使用注解方式,都運(yùn)行在 Tomet 等容器中;SpringMVC 采用命令式編程,Webfl...
樣本類別分布不均衡導(dǎo)致的危害? 樣本類別不均衡將導(dǎo)致樣本量少的分類所包含的特征過少,并很難從中提取規(guī)律; 即使得到分類模型,也容易產(chǎn)生過度依賴與有限的數(shù)據(jù)樣本而導(dǎo)致過擬合問題...
1 紙質(zhì)化醫(yī)療行業(yè)痛點(diǎn) 《醫(yī)療機(jī)構(gòu)管理?xiàng)l例實(shí)施細(xì)則》“門診病歷的保存期不得少于15年;住院病歷的保存期不得少于30年”紙質(zhì)化醫(yī)療行業(yè)痛點(diǎn) 《電子病歷應(yīng)用管理規(guī)范》“有條件的醫(yī)...
1 列式存儲與行式存儲對比 采用行式存儲時(shí),數(shù)據(jù)在磁盤上的組織結(jié)構(gòu)為:行式存儲好處是想查某個(gè)人所有的屬性時(shí),可以通過一次磁盤查找加順序讀取就可以。但是當(dāng)想查所有人的年齡時(shí),需...
1 mq的作用 解耦、異步、削峰填谷 2 kafka架構(gòu) 1)Producer :消息生產(chǎn)者,就是向 kafka broker 發(fā)消息的客戶端;2)Consumer :消息消...
1 spark sql寫入mysql非常慢 有這樣一個(gè)業(yè)務(wù)場景:需要將通過Spark處理之后的數(shù)據(jù)寫入MySQL,并在在網(wǎng)頁端進(jìn)行可視化輸出。Spark處理之后有大概40萬條...
1 為什么需要數(shù)據(jù)治理? 通過數(shù)據(jù)治理實(shí)現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)準(zhǔn)化、提高數(shù)據(jù)質(zhì)量、提升業(yè)務(wù)處理的效率,為數(shù)據(jù)分析提供準(zhǔn)確的數(shù)據(jù)支撐,賦能業(yè)務(wù),助力企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。大數(shù)據(jù)的數(shù)據(jù)管理...
1 數(shù)據(jù)傾斜 絕大部分任務(wù)都很快完成,只有一個(gè)或者少數(shù)幾個(gè)任務(wù)執(zhí)行的很慢甚至最終執(zhí)行失敗,這樣的現(xiàn)象為數(shù)據(jù)傾斜現(xiàn)象。 將數(shù)據(jù)傾斜分為單表攜帶了 GroupBy 字段的查詢和兩...
1 hadoop HA高可用 實(shí)現(xiàn)高可用最關(guān)鍵的策略是消除單點(diǎn)故障。HA嚴(yán)格來說應(yīng)該分成各個(gè)組件的HA機(jī)制:HDFS的HA和YARN的HA。 前提:配置zookeeper集群...
分布式緩存 Flink提供了一個(gè)分布式緩存,類似于hadoop,可以使用戶在并行函數(shù)中很方便的讀取本地文件,并把它放在taskmanager節(jié)點(diǎn)中,防止task重復(fù)拉取。 此...
簡介 在Flink中,同一個(gè)算子可能存在若干個(gè)不同的并行實(shí)例,計(jì)算過程可能不在同一個(gè)Slot中進(jìn)行,不同算子之間更是如此,因此不同算子的計(jì)算數(shù)據(jù)之間不能像Java數(shù)組之間一樣...