一個(gè)95%時(shí)間都在入門和魔改的菜??
發(fā)簡信
IP屬地：福建
-
-
Stable Diffusion工作原理（How does Stable Diffusion work?中文版）翻譯自How does Stable Diffusion work?[https://stable-diffusion-art.com/how-stable-diffusio...
-
新博客地址： <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.zhihu.com%2Fpeople%2Fallwefantasy" target="_blank">https://www.zhihu.com/people/allwefantasy</a>
-
數(shù)據(jù)挖掘，中國科大碩士
-
-
-
不斷努力
-
去交會(huì)讓你開心的朋友，去愛不會(huì)讓你流淚的人，去向自己想去的方向，去完成不論大小的夢想；生活應(yīng)該是美好而又溫柔的，你也是 ???。
-
熱愛生活
-
Spark小文件異步合并工具類
簡介 由于Spark應(yīng)用寫數(shù)據(jù)到Hive表時(shí)，容易因?yàn)閟huffle數(shù)過多導(dǎo)致生成過多小文件，影響集群存儲(chǔ)利用率；故需要一個(gè)能避免讀寫沖突的小文件合并工具。 工具類 調(diào)用 T...
-
Structured Streaming自定義MySQLSink-威力增強(qiáng)版
之前使用過foreach單條處理的MySQLSink，可能導(dǎo)致連續(xù)開關(guān)連接，性能較差，故通過prepareStatement的addBatch批量處理數(shù)據(jù)。 這樣在proce...
-
確認(rèn)下是:gflagfile 的 Master 高級配置代碼段（安全閥），他這里面叫安全閥的配置挺多的容易弄混，我一開始也弄混了，確認(rèn)之后是沒這個(gè)問題了
Spark讀Kudu時(shí)報(bào)認(rèn)證問題
報(bào)錯(cuò):WARN TaskSetManager: Lost task 3.0 in stage 17.0 (TID 2071, node135.bcwcluster.com, ...
-
-
-
CAS
-
只要還在學(xué)習(xí)，人生就有無窮的可能！
-
-
Spark 內(nèi)存管理的前世今生（下）歡迎關(guān)注我的微信公眾號：FunnyBigData 在《Spark 內(nèi)存管理的前世今生（上）》中，我們介紹了 UnifiedMemoryManager 是如何管理內(nèi)存的。然而，...
-
<<RxJava 2.x 實(shí)戰(zhàn)>>、<<Kotlin 進(jìn)階實(shí)戰(zhàn)>> 作者<br><br>掘金小冊<<Android 進(jìn)階：基于 Kotlin 的 Android App 開發(fā)實(shí)踐>>作者<br><br>微信公眾號: Java與Android技術(shù)棧<br><br>關(guān)注領(lǐng)域：Java/Kotlin 服務(wù)端、桌面端 、Android 、 機(jī)器學(xué)習(xí)、端側(cè)智能<br>
-
Spark 應(yīng)用監(jiān)控告警和自動(dòng)重啟
Spark on yarn 執(zhí)行流計(jì)算時(shí)，如果流掛了，沒有提醒會(huì)導(dǎo)致實(shí)時(shí)指標(biāo)計(jì)算停滯，為了保證流的7/24運(yùn)行，需要有一個(gè)能監(jiān)控Spark on yarn上的應(yīng)用，實(shí)現(xiàn)失敗重...
