Algorithm
從基礎開始手寫動態(tài)數(shù)組
數(shù)組定義:數(shù)組(Array)是一種線性表數(shù)據(jù)結構。它用一組連續(xù)的內(nèi)存空間,來存儲一組具有相同類型的數(shù)據(jù)。
值得注意的是數(shù)組適合查找操作,但查找的時間復雜度并不是O(1),即便是排好序的數(shù)組,二叉查找方法也是O(logn)。正確的描述方法是數(shù)值支持隨機訪問,用下標隨機訪問的時間復雜度為O(1)。而且數(shù)組的增加和刪除方法也不單單是O(n)的時間復雜度。在特定的場景下也可以實現(xiàn)O(1)的復雜度。比如在數(shù)組第k個位置插入一個數(shù)據(jù),為了避免大規(guī)模的數(shù)據(jù)遷徙,可以直接用原第k位置元素賦值到最后一個元素,新增的元素放到第k個位置上即可。刪除操作也可以只標記不刪除,類似jvm中的標記刪除算法。
Review
spark經(jīng)典論文,介紹RDD的抽象,優(yōu)勢與劣勢。有RDD的簡單操作使用實例-線性歸回算法和PageRank。和Hadoop
進行性能對比。
思考:從Spark的出現(xiàn)理解人們常常理解是MapReduce的速度太慢了,所以會有Spark的誕生。但真實情況是人們是在Spark出現(xiàn)之后,才開始對MapReduce不滿,覺得原來可以這么快,編程這么簡單。人們往往把結果就當了原因。就像成功人士不是因為各種原因才成功,而是成功之后才開始找各種原因。
Tips
一、vi常用命令總結


二、Intel開源基準測試工具HiBench
這個項目不光可以作為大數(shù)據(jù)基準測試工具來用,對于大數(shù)據(jù)初學者來說,有大數(shù)據(jù)最重要,這個平臺可以生成數(shù)據(jù),并且提供例子驗證自己的大數(shù)據(jù)平臺。
簡單操作可參考
Share
這周看了馮侖和崔永元的脫口秀《正常說話》覺得說話真的是門藝術,而且很有意思,下面摘錄了一些有意思的部分。
說實話,在被婦女報批評之前我的確沒意識到這么一個習慣性的表達還犯錯誤。我一直覺得,如果把復雜問題簡單化,把簡單問題庸俗化,把庸俗問題兩性化,這是一個挺好的溝通方式,因為這樣一來人人都能懂。如果不這樣,大家就不一定能聽明白了,比如說我們現(xiàn)在要說個哲學話題,一切都是由時間決定的,所有的事物是時間的函數(shù),大家估計不懂,對吧?但是我說,事情的性質(zhì)常常由時間來決定,怎么決定呢?比如說一個壞人找小姐,當下給錢叫嫖,女和票同時存在就叫嫖,這字都是這么寫的;一個禮拜給錢叫禮品,一個月給錢叫友誼,一年以后才給錢叫愛情,一輩子給錢叫婚姻。你看,不是給不給錢的問題,而是千萬別馬上就給。
正常說話會讓你從容,自信而且有力量。很多創(chuàng)業(yè)的需要去融資,去跟別人要錢。我也經(jīng)常碰到來融資,來談錢的人。大部分人要不到錢,不是事不好,很多時候是話不會說。一上來就是“這事我需要錢,再沒錢我就死了”;“這事你要給我錢”;“你們錢多,也不差我這一個”。你缺錢是你的事,對不對?但是別人需要的是理由。像談戀愛一樣,如果你通過非誠勿擾也好,通過約會也好,約到一個人,上來就說,“我們倆怎么生兒子”,“我需要個兒子,我現(xiàn)在也閑著”。你需要,人家就跟你走嗎?你還不得說愿景、理想、花前月下、幸福生活,把這都先說完了。其實沒說出來的就是“我缺個媳婦”。這話不能說,這一說出來事就黃了。所以“正常說話”包含著很多智慧,不光是力量,還有從容、幽默、智慧。