1.2 密碼學(xué)及安全技術(shù) 1.2.1 密碼學(xué)知識 1.2.1.1 Hash函數(shù) Hash(哈希)哈希函數(shù)是一類數(shù)學(xué)函數(shù)，可以在有限合理的時(shí)間內(nèi)，將任意長度的消息壓縮為固定長度...
發(fā)簡信
IP屬地：澳門
-
區(qū)塊鏈基礎(chǔ)之密碼學(xué)及安全技術(shù)
-
區(qū)塊鏈基礎(chǔ)之共識機(jī)制
1.1共識機(jī)制 1.1.1核心定義 區(qū)塊鏈上的共識機(jī)制主要解決由誰來構(gòu)造區(qū)塊，以及如何維護(hù)區(qū)塊鏈統(tǒng)一的問題 1.1.2共識機(jī)制分類 1.1.3 共識算法 1.1.3.1 PO...
-
Fabric架構(gòu)詳解1 整體架構(gòu) 2 運(yùn)行架構(gòu) Fabric CA(可選) peer：主節(jié)點(diǎn)模塊，負(fù)責(zé)存儲區(qū)塊鏈數(shù)據(jù)，運(yùn)行維護(hù)鏈碼 orderer：交易打包，排序模塊 cryptogen：組織和...
-
區(qū)塊鏈應(yīng)用：橢圓曲線數(shù)字簽名算法ECDSA1 橢圓曲線密碼學(xué) 橢圓曲線密碼學(xué)（Elliptic Curve Cryptography,縮寫ECC），是基于橢圓曲線數(shù)學(xué)理論實(shí)現(xiàn)的一種非對稱加密算法。橢圓曲線在密碼學(xué)中的...
-
Spark+Flink+Iceberg打造湖倉一體架構(gòu)實(shí)踐探索
數(shù)據(jù)湖-大數(shù)據(jù)生態(tài)殺青數(shù)據(jù)湖-大數(shù)據(jù)生態(tài)殺青 數(shù)據(jù)倉庫的痛點(diǎn) 只能存儲結(jié)構(gòu)化數(shù)據(jù)，無法采集存儲非結(jié)構(gòu)化數(shù)據(jù) 無法存儲原始數(shù)據(jù)，所有的數(shù)據(jù)須經(jīng)過ETL清洗過程 離線數(shù)倉的數(shù)據(jù)表...
-
2022 Mysql優(yōu)化來一波
1 redo log（重做日志） 1）InnoDB首先將redo log放入到redo log buffer，然后按一定頻率將其刷新到redo log file。下列三種情況...
-
clickhouse 21.x生產(chǎn)實(shí)踐優(yōu)化
1 時(shí)間字段類型 建表時(shí)能用數(shù)值型或日期時(shí)間型表示的字段就不要用字符串，全String 類型在以Hive(hbase)為中心的數(shù)倉建設(shè)中常見，但 ClickHouse 環(huán)境不...
-
2021 個(gè)人成長復(fù)盤
感恩2021，暢想2022 01 工作復(fù)盤 過去的一年里，你能往簡歷中濃妝艷抹地寫幾筆嗎？你學(xué)了什么新的技術(shù)？做了什么大的項(xiàng)目？取得了什么成績？獲得了什么認(rèn)可？這一年你進(jìn)步了...
-
微服務(wù)治理系列二
注冊中心Nacos 1 主流注冊中心對比 2 CAP實(shí)踐 C是所有節(jié)點(diǎn)在同一時(shí)間看到的數(shù)據(jù)是一致的；而A的定義是所有的請求都會(huì)收到響應(yīng)。何時(shí)選擇使用何種模式？ 如果不需要存儲...
-
微服務(wù)治理系列一
響應(yīng)式編程 1 spring mvc與spring webflux 兩個(gè)框架都可以使用注解方式，都運(yùn)行在 Tomet 等容器中；SpringMVC 采用命令式編程，Webfl...
-
Spark ML處理樣本類別不均衡問題
樣本類別分布不均衡導(dǎo)致的危害？ 樣本類別不均衡將導(dǎo)致樣本量少的分類所包含的特征過少，并很難從中提取規(guī)律； 即使得到分類模型，也容易產(chǎn)生過度依賴與有限的數(shù)據(jù)樣本而導(dǎo)致過擬合問題...
-
醫(yī)療機(jī)構(gòu)數(shù)字化轉(zhuǎn)型 - CA無紙化診療
1 紙質(zhì)化醫(yī)療行業(yè)痛點(diǎn) 《醫(yī)療機(jī)構(gòu)管理?xiàng)l例實(shí)施細(xì)則》“門診病歷的保存期不得少于15年;住院病歷的保存期不得少于30年”紙質(zhì)化醫(yī)療行業(yè)痛點(diǎn) 《電子病歷應(yīng)用管理規(guī)范》“有條件的醫(yī)...
-
clickhouse 20.x實(shí)踐小計(jì)
1 列式存儲與行式存儲對比 采用行式存儲時(shí)，數(shù)據(jù)在磁盤上的組織結(jié)構(gòu)為：行式存儲好處是想查某個(gè)人所有的屬性時(shí)，可以通過一次磁盤查找加順序讀取就可以。但是當(dāng)想查所有人的年齡時(shí)，需...
-
kafka優(yōu)化筆記
1 mq的作用 解耦、異步、削峰填谷 2 kafka架構(gòu) 1）Producer ：消息生產(chǎn)者，就是向 kafka broker 發(fā)消息的客戶端；2）Consumer ：消息消...
-
spark3.x 生產(chǎn)調(diào)優(yōu)筆記
1 spark sql寫入mysql非常慢 有這樣一個(gè)業(yè)務(wù)場景：需要將通過Spark處理之后的數(shù)據(jù)寫入MySQL，并在在網(wǎng)頁端進(jìn)行可視化輸出。Spark處理之后有大概40萬條...
-
元數(shù)據(jù)管理
1 為什么需要數(shù)據(jù)治理？ 通過數(shù)據(jù)治理實(shí)現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)準(zhǔn)化、提高數(shù)據(jù)質(zhì)量、提升業(yè)務(wù)處理的效率，為數(shù)據(jù)分析提供準(zhǔn)確的數(shù)據(jù)支撐，賦能業(yè)務(wù)，助力企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。大數(shù)據(jù)的數(shù)據(jù)管理...
-
hive3.x on spark3.0生產(chǎn)調(diào)優(yōu)實(shí)踐1 數(shù)據(jù)傾斜 絕大部分任務(wù)都很快完成，只有一個(gè)或者少數(shù)幾個(gè)任務(wù)執(zhí)行的很慢甚至最終執(zhí)行失敗，這樣的現(xiàn)象為數(shù)據(jù)傾斜現(xiàn)象。 將數(shù)據(jù)傾斜分為單表攜帶了 GroupBy 字段的查詢和兩...
-
Hadoop3.x生產(chǎn)環(huán)境調(diào)優(yōu)之高可用
1 hadoop HA高可用 實(shí)現(xiàn)高可用最關(guān)鍵的策略是消除單點(diǎn)故障。HA嚴(yán)格來說應(yīng)該分成各個(gè)組件的HA機(jī)制：HDFS的HA和YARN的HA。 前提：配置zookeeper集群...
-
Flink分布式緩存
分布式緩存 Flink提供了一個(gè)分布式緩存，類似于hadoop，可以使用戶在并行函數(shù)中很方便的讀取本地文件，并把它放在taskmanager節(jié)點(diǎn)中，防止task重復(fù)拉取。 此...
-
Flink 廣播變量
簡介 在Flink中，同一個(gè)算子可能存在若干個(gè)不同的并行實(shí)例，計(jì)算過程可能不在同一個(gè)Slot中進(jìn)行，不同算子之間更是如此，因此不同算子的計(jì)算數(shù)據(jù)之間不能像Java數(shù)組之間一樣...