發(fā)簡信
IP屬地：北京
-
-
-
數(shù)據(jù)科學與人工智能知識分享<br>微信公眾號：大數(shù)據(jù)文摘<br>微博：@大數(shù)據(jù)文摘<br><br>大數(shù)據(jù)文摘經(jīng)授權翻譯李飛飛斯坦福CS231n計算機視覺、牛津xDeepMind自然語言處理、MIT6.S自動駕駛課程，地址<a href="http://study.163.com/course/introduction/1003223001.htm" rel="nofollow" target="_blank">http://study.163.com/course/introduction/1003223001.htm</a>
-
-
-
-
-
-
文章持續(xù)更新，可以微信搜索「 大數(shù)據(jù)分析師知識分享」第一時間閱讀，回復【666】獲取大數(shù)據(jù)相關資料。
-
-
Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是Job中間輸出結果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法。
-
Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構。 用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。 Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。 Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。
-
Hadoop、HDFS、HBase、yarn、storm、spark、flink SQL
-
hadoop核心流程；MapReduce流程，HDFS流程；實踐、實例
-
大數(shù)據(jù)hdfs, yarn, spark, hbase等等系統(tǒng)的優(yōu)化和維護
-
-
KettlePack是一個基于Kettle9（兼容Kettle8及其他版本）的web端調(diào)度監(jiān)控管理平臺，專門用來調(diào)度和監(jiān)控由Kettle客戶端創(chuàng)建的Job和Transformation，安裝使用簡單方便，并擁有完善的幫助文檔和在線支持，目前基本可以支持所有的組件，包括大數(shù)據(jù)組件（hbase、hive、hdfs等）。
-
HDFS\Kafka\Storm\jstorm\spark\Hbase\數(shù)據(jù)倉庫\hive\hadoop\mapReduce\rpc...
-
JAVA高并發(fā)、負載均衡、NoSQL、服務器集群、性能優(yōu)化、數(shù)據(jù)庫集群等架構師技能； Hadoop、HDFS、ResourceManager 、Yarn平臺、Mapreduce、Hbase、Hive、Storm、Spark、Kafka、R語言、Scala語言、Mahout、Redis、Docker、KVM、Openstack等技術 需要屬于自己的專屬資料的同志們,可加微信：Nancy007001 添加時備注簡書 專題課程：https://ke.qq.com/course/215398?flowToken=1002412【完全免費學習】
