Kafka 怎么就能存儲更長時間的數(shù)據(jù)了哪
Kappa架構(gòu)什么是Kappa架構(gòu)，直接看下圖： 和Lambda架構(gòu)相比，它去掉了批處理引擎，直接使用流處理引擎，目標(biāo)是做到流批一體。 Kappa流行的主要原因在于Kafka和Flink的...
發(fā)簡信
IP屬地：遼寧
-
-
數(shù)據(jù)化建設(shè)圖譜2.0來啦開篇前，我們先介紹一下 達(dá)克效應(yīng)：能力欠缺的人在自己欠考慮的決定的基礎(chǔ)上得出錯誤結(jié)論，但是無法正確認(rèn)識到自身的不足，辨別錯誤行為。這些能力欠缺者們沉浸在自我營造的虛幻的優(yōu)勢之...
-
基于Flink的實(shí)時數(shù)據(jù)流構(gòu)建業(yè)務(wù)詳解 處理數(shù)據(jù)主要包括的是從互聯(lián)網(wǎng)上采集來的數(shù)據(jù),包括常見的新聞、微博、論壇、貼吧、博客、微博、微信等信源，對原始格式進(jìn)行實(shí)時響應(yīng)處理，以期望滿足業(yè)務(wù)系統(tǒng)使用，這便是當(dāng)前...
-
Field Collapsing - 字段折疊
字段折疊 issues 不支持scroll 和search after的查詢方式 無法返回折疊后的總數(shù)目 查詢樣例 參數(shù)解釋 from: 這個的from是top hits結(jié)果...
-
分享一次詞典庫構(gòu)建的流程詞典庫的含義 在深度學(xué)習(xí)中，如何在其中融入知識是一個研究非?；馃岬恼n題。相比于 Bert, ERNIE中引入全詞Mask，達(dá)到了 SOTA,這也是引入啦知識 。因此詞典庫在底...
-
SearchAfter 之 score獲取
前言 ES的查詢經(jīng)歷 from + size、Scroll、SearchAfter等方式,都是為了逐一解決查詢帶來的性能問題，目前search after的查分方式最優(yōu) 使用...
-
關(guān)于Mysql(5.6)的一些思考事物級別 MySQL 默認(rèn)事物級別是可重復(fù)讀；Oracle默認(rèn)為讀已提交 事務(wù)級別的優(yōu)先級：1：讀未提交 2：讀已提交 3：可重復(fù)讀 4：串行化 5：事務(wù)隔離的實(shí)現(xiàn)-可重復(fù)度...
-
update t1,t2
UPDATE crawl_weibo_data t1, lz_temp_channel t2 SET t1.channel_unique_id = t2.channel_un...
-
20項(xiàng)任務(wù)全面碾壓BERT，CMU全新XLNet預(yù)訓(xùn)練模型屠榜（已開源）
https://mp.weixin.qq.com/s/29y2bg4KE-HNwsimD3aauw
-
關(guān)于bert的一些思考
不存在詞庫中的字符編碼 選取 ~ 和 ﹌ 兩個字符(不在詞表中),分別進(jìn)行編碼：bc.encode(['~','﹌'])>array([[-0.07489464, 0.16...
-
python簡易寫法
要求 input:4abababaabaxzxb3abaxzxbaboutput:210 簡易寫法：str_seq = [input() for s in range(int...
-
base64解密及解壓
在文本數(shù)據(jù)傳輸中,為防止編碼問題以及信息損失,可以先進(jìn)行壓縮，在進(jìn)行base64加密；示例如下：>> import zlib>> compressed = zlib.comp...
-
關(guān)于Matrix Script的解法以及正則總結(jié)
問題參照： https://www.hackerrank.com/challenges/matrix-script/problem 解題思路 將N * M矩陣轉(zhuǎn)轉(zhuǎn)化為具有順序...
-
python3.x print自定義連接符
print()函數(shù)默認(rèn)是換行的,如何達(dá)到不換行的目的哪？請看下面的例子：>> for i in range(5):>> print(i+1,end='')>> 12...
-
python之常用函數(shù)
range 函數(shù)語法 range(start, stop[, step])參數(shù)說明：start: 計數(shù)從 start 開始。默認(rèn)是從 0 開始。例如range（5）等價于ra...
-
ES集群重啟最佳實(shí)踐
線上集群規(guī)模 data節(jié)點(diǎn)：12單index大?。?0GB ~ 40GB副本數(shù)：1索引數(shù)(按天拆分索引)：600 非安全重啟面臨的問題 直接kill掉節(jié)點(diǎn)，可能導(dǎo)致數(shù)據(jù)丟失集...
