StuQ 大數(shù)據(jù)工程師技能圖譜

https://github.com/TeamStuQ/skill-map

StuQ 程序員技能圖譜
官網(wǎng) Web 頁(yè)面地址:http://skill-map.stuq.org/,也可掃描頁(yè)面下方二維碼,以贊助形式獲贈(zèng)技能圖譜紙質(zhì)版。

大數(shù)據(jù)工程師技能圖譜

大數(shù)據(jù)通用處理平臺(tái)

Spark
Flink
Hadoop

分布式存儲(chǔ)

HDFS

資源調(diào)度

Yarn
Mesos

機(jī)器學(xué)習(xí)工具

Mahout
Spark Mlib
TensorFlow (Google 系)
Amazon Machine Learning
DMTK (微軟分布式機(jī)器學(xué)習(xí)工具)

數(shù)據(jù)分析/數(shù)據(jù)倉(cāng)庫(kù)(SQL類(lèi))

Pig
Hive
kylin
Spark SQL,
Spark DataFrame
Impala
Phoenix

ELK

ElasticSearch
Logstash
Kibana

消息隊(duì)列

Kafka(純?nèi)罩绢?lèi),大吞吐量)
RocketMQ
ZeroMQ
ActiveMQ
RabbitMQ

流式計(jì)算

Storm/JStorm
Spark Streaming

日志收集

  • Scribe
  • Flume

編程語(yǔ)言

Java
Python
R
Ruby

數(shù)據(jù)分析挖掘

MATLAB
SPSS
SAS

數(shù)據(jù)可視化

R
D3.js
ECharts
Excle

機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)基礎(chǔ)

聚類(lèi)
時(shí)間序列
推薦系統(tǒng)
回歸分析
文本挖掘
決策樹(shù)
支持向量機(jī)
貝葉斯分類(lèi)
神經(jīng)網(wǎng)絡(luò)

機(jī)器學(xué)習(xí)工具

Mahout
Spark Mlib
TensorFlow (Google 系)
Amazon Machine Learning
DMTK (微軟分布式機(jī)器學(xué)習(xí)工具)

算法

一致性

paxos
raft
gossip

數(shù)據(jù)結(jié)構(gòu)

棧,隊(duì)列,鏈表
散列表
二叉樹(shù),紅黑樹(shù),B樹(shù)

常用算法

排序插入排序
桶排序
堆排序
快速排序

最大子數(shù)組
最長(zhǎng)公共子序列
最小生成樹(shù)
最短路徑
矩陣的存儲(chǔ)和運(yùn)算

云計(jì)算

云服務(wù)SaaS
PaaS
IaaS

Openstack
Docker

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容