發(fā)簡(jiǎn)信
IP屬地：北京
-
-
-
數(shù)據(jù)科學(xué)與人工智能知識(shí)分享<br>微信公眾號(hào)：大數(shù)據(jù)文摘<br>微博：@大數(shù)據(jù)文摘<br><br>大數(shù)據(jù)文摘經(jīng)授權(quán)翻譯李飛飛斯坦福CS231n計(jì)算機(jī)視覺(jué)、牛津xDeepMind自然語(yǔ)言處理、MIT6.S自動(dòng)駕駛課程，地址<a href="http://study.163.com/course/introduction/1003223001.htm" rel="nofollow" target="_blank">http://study.163.com/course/introduction/1003223001.htm</a>
-
-
-
-
-
-
文章持續(xù)更新，可以微信搜索「 大數(shù)據(jù)分析師知識(shí)分享」第一時(shí)間閱讀，回復(fù)【666】獲取大數(shù)據(jù)相關(guān)資料。
-
-
Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。
-
Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。 用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。 Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問(wèn)（streaming access）文件系統(tǒng)中的數(shù)據(jù)。 Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。
-
Hadoop、HDFS、HBase、yarn、storm、spark、flink SQL
-
hadoop核心流程；MapReduce流程，HDFS流程；實(shí)踐、實(shí)例
-
大數(shù)據(jù)hdfs, yarn, spark, hbase等等系統(tǒng)的優(yōu)化和維護(hù)
-
-
KettlePack是一個(gè)基于Kettle9（兼容Kettle8及其他版本）的web端調(diào)度監(jiān)控管理平臺(tái)，專門用來(lái)調(diào)度和監(jiān)控由Kettle客戶端創(chuàng)建的Job和Transformation，安裝使用簡(jiǎn)單方便，并擁有完善的幫助文檔和在線支持，目前基本可以支持所有的組件，包括大數(shù)據(jù)組件（hbase、hive、hdfs等）。
-
HDFS\Kafka\Storm\jstorm\spark\Hbase\數(shù)據(jù)倉(cāng)庫(kù)\hive\hadoop\mapReduce\rpc...
-
JAVA高并發(fā)、負(fù)載均衡、NoSQL、服務(wù)器集群、性能優(yōu)化、數(shù)據(jù)庫(kù)集群等架構(gòu)師技能； Hadoop、HDFS、ResourceManager 、Yarn平臺(tái)、Mapreduce、Hbase、Hive、Storm、Spark、Kafka、R語(yǔ)言、Scala語(yǔ)言、Mahout、Redis、Docker、KVM、Openstack等技術(shù) 需要屬于自己的專屬資料的同志們,可加微信：Nancy007001 添加時(shí)備注簡(jiǎn)書 專題課程：https://ke.qq.com/course/215398?flowToken=1002412【完全免費(fèi)學(xué)習(xí)】
