自由創(chuàng)業(yè)者，愛好廣泛。IT技術(shù)、經(jīng)濟(jì)、投資、人性、心理學(xué)，希望在這里記錄自己的進(jìn)階之路，共勉。
發(fā)簡(jiǎn)信
IP屬地：天津
-
【內(nèi)推】【社招/校招】字節(jié)跳動(dòng) 大數(shù)據(jù)和分布式計(jì)算的同學(xué)看過來~
字節(jié)跳動(dòng)內(nèi)推了 ~~~ 如果是社招，郵件名請(qǐng)以“姓名-職位”命名，發(fā)送簡(jiǎn)歷到 liaojiayi@bytedance.com如果是校招，直接訪問投遞鏈接: https://j...
-
今年的目標(biāo)是一個(gè)月刷一本書
-
個(gè)人見解 :)。
數(shù)據(jù)SCT定律：存儲(chǔ)，計(jì)算，時(shí)間
其實(shí)沒有SCT定律，這個(gè)是我根據(jù)分布式CAP定律瞎造的。不過呢，從大數(shù)據(jù)這個(gè)行業(yè)來說，我們始終都是在存儲(chǔ)，計(jì)算和時(shí)間進(jìn)行權(quán)衡，博弈以及突破。某種程度上來說，當(dāng)擁有其中兩者，可...
-
文章很棒！
```
我們沒有一個(gè)統(tǒng)一的大數(shù)據(jù)應(yīng)用，還是各種應(yīng)用孤立的跑在硬件上（我們會(huì)把Yarn,K8s當(dāng)做硬件），這個(gè)時(shí)候我們會(huì)嘗試使用Spark，Preso,Impala,Kylin等各種系統(tǒng)解決各自的問題。
```
關(guān)于這點(diǎn)，YARN和K8S在數(shù)據(jù)處理中更多的是承擔(dān)一個(gè)資源管理的作用。而Spark，Presto，Impala等本身更專注于計(jì)算（ETL）本身。Kylin是一個(gè)相對(duì)完備的OLAP系統(tǒng)，從處理到查詢展現(xiàn)。這些本身跟YARN等資源管理組件并沒有沖突哈。數(shù)據(jù)SCT定律：存儲(chǔ)，計(jì)算，時(shí)間
其實(shí)沒有SCT定律，這個(gè)是我根據(jù)分布式CAP定律瞎造的。不過呢，從大數(shù)據(jù)這個(gè)行業(yè)來說，我們始終都是在存儲(chǔ)，計(jì)算和時(shí)間進(jìn)行權(quán)衡，博弈以及突破。某種程度上來說，當(dāng)擁有其中兩者，可...
-
機(jī)器學(xué)習(xí)(Machine Learning，ML)是研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。數(shù)據(jù)挖掘是從海量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程。數(shù)據(jù)挖掘中用到了大量的機(jī)器學(xué)習(xí)界提供的數(shù)據(jù)分析技術(shù)和數(shù)據(jù)庫(kù)界提供的數(shù)據(jù)管理技術(shù)，機(jī)器學(xué)習(xí)是數(shù)據(jù)挖掘的一個(gè)重要的工具。機(jī)器學(xué)習(xí)交流群：613944735
-
聊聊Apache Flink中的Watermark
注：本文轉(zhuǎn)自我的個(gè)人博客。 Watermark是流式處理中的一個(gè)基礎(chǔ)概念，關(guān)于Watermark的概念有很多，在這里不做闡述。 Watermark特性 這不是官方的表述，我根...
-
java.lang.OutOfMemoryError: Map failed
最近遇到這個(gè)Exception，發(fā)現(xiàn)不少開源框架在實(shí)現(xiàn)快速讀寫文件時(shí)，采用的都是FileChannel的map方法，示例如下： 這個(gè)方法的作用是將文件映射到堆外內(nèi)存中，然后通...
-
Spark深入學(xué)習(xí)專題旨在通過高質(zhì)量的文章對(duì)Spark相關(guān)技術(shù)進(jìn)行研究學(xué)習(xí)
-
Spark - 利用WeakReference來清理對(duì)象
注：本文轉(zhuǎn)自我的個(gè)人博客（Spark - 利用WeakReference來清理對(duì)象）。 最近在stackoverflow上看到有人好奇Spark是在什么時(shí)機(jī)對(duì)Accumula...
-
PingCAP 是一家開源的新型分布式數(shù)據(jù)庫(kù)公司，秉承開源是基礎(chǔ)軟件的未來這一理念，PingCAP 持續(xù)擴(kuò)大社區(qū)影響力，致力于前沿技術(shù)領(lǐng)域的創(chuàng)新實(shí)現(xiàn)。其研發(fā)的分布式關(guān)系型數(shù)據(jù)庫(kù) TiDB 項(xiàng)目，具備「分布式強(qiáng)一致性事務(wù)、在線彈性水平擴(kuò)展、故障自恢復(fù)的高可用、跨數(shù)據(jù)中心多活」等核心特性，是大數(shù)據(jù)時(shí)代理想的數(shù)據(jù)庫(kù)集群和云數(shù)據(jù)庫(kù)解決方案。目前準(zhǔn)生產(chǎn)測(cè)試用戶 1000 余家，并已被 200 余家不同行業(yè)的領(lǐng)先企業(yè)應(yīng)用在實(shí)際生產(chǎn)環(huán)境，涉及互聯(lián)網(wǎng)、游戲、金融、政府、電信、制造業(yè)等多個(gè)領(lǐng)域。（官網(wǎng)：<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fpingcap.com" target="_blank">http://pingcap.com</a> 源碼地址：<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fgithub.com%2Fpingcap" target="_blank">http://github.com/pingcap</a>）
-
美團(tuán)技術(shù)團(tuán)隊(duì)，最值得關(guān)注的技術(shù)團(tuán)隊(duì)官方博客/微信公眾號(hào)，每周會(huì)推送來自一線的實(shí)踐技術(shù)文章，同時(shí)還有線上/線下技術(shù)活動(dòng)、技術(shù)招聘等信息同步更新。在這里，你可以與8000多業(yè)界一流工程師交流切磋，現(xiàn)在已經(jīng)有超過13萬個(gè)技術(shù)小伙伴在關(guān)注......
-
Bitmap - 性能和原理研究
注：本文轉(zhuǎn)自我的個(gè)人博客（Bitmap - 性能和原理研究） Paper原文地址：An Experimental Study of Bitmap Compression vs...
-
管理500億美金的對(duì)沖基金給Spark社區(qū)貢獻(xiàn)代碼？先科普一下大名鼎鼎的Two Sigma吧。2001年創(chuàng)立，現(xiàn)在管理多達(dá)500億美金的資產(chǎn)，排名對(duì)沖基金公司的全球第四！?。∽鰹橐患抑膶?duì)沖基金，為何他們給Apache Sp...
-
Aerospike(3) - Evict機(jī)制
注：本文轉(zhuǎn)自我的個(gè)人博客 Aerospike(3) - Evict機(jī)制。 在實(shí)時(shí)的場(chǎng)景中，我們往往會(huì)對(duì)Aerospike/Redis等設(shè)置evict機(jī)制，來防止流量暴增帶來的...
-
自主駕駛里的Apache Spark當(dāng)今的自主駕駛是典型的數(shù)據(jù)驅(qū)動(dòng)的產(chǎn)業(yè)，八仙過海各顯神通。無論技術(shù)多么先進(jìn)，他們所有決策和算法都是來基于senor產(chǎn)生的數(shù)據(jù)。比如，以Udacity Lincoln MKZ為例...
個(gè)人介紹