????繼續(xù)介紹大數(shù)據(jù)系列崗位要求，大數(shù)據(jù)運維可能是“技術(shù)含量最高”的職位之一，這里說的大數(shù)據(jù)運維主要是指hadoop生態(tài)體系方面的運維，在一些小公司或者傳統(tǒng)行業(yè)的大公司也會使用oracle、db2等技術(shù)棧，在互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)量稍微大點的公司基本都是使用hadoop技術(shù)棧，像在電信或者銀行領(lǐng)域基本上是oracle/db2、hadoop同時使用。
????該文章默認(rèn)是指hadoop生態(tài)技術(shù)體系，這個職位之所以說可能是“技術(shù)含量最高”，主要有2方面的因素：一，數(shù)據(jù)量和計算量的大小與運維同學(xué)的能力是呈現(xiàn)指數(shù)關(guān)系，當(dāng)數(shù)據(jù)量不大的時候一個現(xiàn)學(xué)現(xiàn)賣的同學(xué)都可以搞得定，當(dāng)數(shù)據(jù)量像BAT的量級時，這就是需要摩拜的技術(shù)大神；二，跟運維同學(xué)本身的自我要求有關(guān)，如果僅僅是看網(wǎng)上的教程或者使用cdh的一鍵安裝確實沒什么難度，特別是數(shù)據(jù)量不是很大的情況下，但是一個高自我要求的同學(xué)，去研究hadoop生態(tài)體系，看各種文檔以及源碼，這個還是非常有難度的，這是大神成長的必經(jīng)之路。老套路先從幾個大廠的崗位要求說起。
有贊
1、精通基于Linux系統(tǒng)的常用服務(wù)配置，快速部署；熟悉RHEL或CentOS系統(tǒng)，理解RHEL系統(tǒng)規(guī)范，了解epel的rpm打包規(guī)范
2、熟悉OS工作原理，掌握常用系統(tǒng)性能診斷工具；對CPU、MEM、IO、NET四大子系統(tǒng)內(nèi)核參數(shù)以及程序性能優(yōu)化有實戰(zhàn)經(jīng)驗者優(yōu)先
3、熟悉Hadoop生態(tài)常用開源項目的部署升級、擴容縮容、性能和管理優(yōu)化、問題排查等（主要包括Hadoop/Zookeeper/HBase/Hive、Spark、Presto/Kafka、Flume/DataX、Sqoop/Storm、Flink等）
4、熟悉JVM，熟悉大數(shù)據(jù)周邊并有實踐經(jīng)驗者優(yōu)先（主要包括 數(shù)據(jù)系統(tǒng)：MySQL，Redis，Elasticsearch，NewSQL等；機器學(xué)習(xí)：TensorFlow等）
5、熟練使用shell及python，并有一定開發(fā)經(jīng)驗；有過相關(guān)運維管理平臺或自動化部署系統(tǒng)開發(fā)經(jīng)驗者優(yōu)先
6、良好的溝通合作能力，熱愛技術(shù)并善于鉆研。能主動思考，有解決疑難問題的毅力和決心
盈盈集團
1、熟悉Hadoop、HBase、Kafka、Hive、Spark等組件的工作原理，并有3年以上Hadoop生態(tài)系統(tǒng)維護經(jīng)驗；
2、搭建、調(diào)優(yōu)并維護過spark、Hive、Storm、Kafka、Redis等服務(wù)；
3、熟悉Linux開發(fā)環(huán)境，熟練掌握J(rèn)ava/scala/python等任一編程語言,編碼能力優(yōu)秀
4、能夠閱讀開源組件源碼，手動編譯、安裝過patch、更改過組件源碼且應(yīng)用于生產(chǎn)環(huán)境者優(yōu)先；
5、熟悉分布式系統(tǒng)設(shè)計范型，有大規(guī)模系統(tǒng)設(shè)計和工程實現(xiàn)者優(yōu)先；
6、有CDH安裝部署及運維經(jīng)驗者優(yōu)先
7、本科及以上學(xué)歷者優(yōu)先
橙鷹
1、熟悉 nginx/haproxy 負(fù)載均衡，能基于 nginx 做一些插件開發(fā)
2、有mysql 數(shù)據(jù)庫使用和維護經(jīng)驗，有使用 pg 優(yōu)先
3、熟悉 php，lua 編程語言的優(yōu)先
4、熟悉并參于過開源系統(tǒng)如zabbix，ganglia，kong網(wǎng)關(guān)的優(yōu)先
5、具有良好的心理素質(zhì)，能承受一定的壓力。
6、具有良好的溝通能力，樂于分享，與團隊成員分享最佳實踐，共同進步。
個推
1、掌握Linux操作系統(tǒng)的配置，管理及優(yōu)化，能夠獨立排查及解決系統(tǒng)層的各類問題；
2、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等開源項目的安裝與調(diào)試,升級擴容和優(yōu)化；
3、至少精通 Perl/Python/Shell腳本語言中的一種；
4、具備較強的邏輯思維能力、學(xué)習(xí)創(chuàng)新能力、數(shù)據(jù)分析能力，以及良好的溝通技巧和團隊合作能力,性格開朗有較強抗壓能力；
5、全日制本科以上學(xué)歷，計算機相關(guān)專業(yè)；
6、5年以上運維經(jīng)驗；
網(wǎng)易
1、本科及以上學(xué)歷，計算機相關(guān)專業(yè);
2、2年以上系統(tǒng)運維或開發(fā)經(jīng)驗，熟悉Hadoop/Spark/HBase等大數(shù)據(jù)系統(tǒng)，有大數(shù)據(jù)平臺運維或開發(fā)經(jīng)驗者優(yōu)先;
3、熟悉Linux操作系統(tǒng)，熟悉Java，熟練使用Shell/Perl/Python/Ruby中至少一種語言;
4、良好的學(xué)習(xí)能力、邏輯分析、問題排查能力;
5、良好的團隊合作者，善于溝通，較強的抗壓能力。
能力三核模型分析
綜合結(jié)果如下
知識
1、本科及以上學(xué)歷(3)
2、計算機相關(guān)專業(yè)(2)
3、熟悉Hadoop、HBase、Kafka、Hive、Spark等組件的工作原理(1)
硬技能
1、熟悉/精通linux操作系統(tǒng)(4)
2、熟悉hadoop/hbase/hive/spark/kafka/storm等大數(shù)據(jù)開源系統(tǒng)部署、升級、擴容、優(yōu)化等(4)
3、熟練掌握java/python/shell/perl/php等至少一種開發(fā)語言（5）
4、2年以上運維經(jīng)驗(3)
5、有CDH安裝部署及運維經(jīng)驗(1)
6、有相關(guān)運維管理平臺或自動化部署系統(tǒng)開發(fā)經(jīng)驗(1)
才干or 軟技能
1、良好的溝通能力(4)
2、良好的團隊合作能力(3)
3、良好的學(xué)習(xí)能力(4)
4、良好的解決問題能力(2)
5、良好的抗壓能力(3)
6、良好的邏輯思維能力(2)
崗位職責(zé)
1、負(fù)責(zé)大數(shù)據(jù)平臺部署、維護、管理、優(yōu)化、規(guī)劃等，包括但不限于Hadoop、Hdfs、HBase、Hive、Spark、Storm、Kafka等系統(tǒng)（5）
2、保障大數(shù)據(jù)平臺穩(wěn)定性和可靠性（4）
3、開發(fā)監(jiān)控報警平臺(3)
4、建設(shè)自動化部署及運維工具(2)
5、給業(yè)務(wù)提供技術(shù)支持及優(yōu)化(2)
個人經(jīng)驗
????是否需要設(shè)立大數(shù)據(jù)運維這個職位跟是否自建大數(shù)據(jù)平臺直接相關(guān)，上面5家公司至少都是中型公司，從崗位職責(zé)來看都是自建大數(shù)據(jù)平臺的。而是否自建大數(shù)據(jù)平臺，什么時候自建，什么時候用第三方云平臺(比如阿里的數(shù)加)，則是一個仁者見仁智者見智的問題。個人經(jīng)驗建議下面3個場景符合之一則暫時不用自建：1）公司創(chuàng)業(yè)階段；2）數(shù)據(jù)量規(guī)模不大；3）數(shù)據(jù)建設(shè)剛起步階段，想快速見效階段。當(dāng)然老板的眼界和魄力不同，則另外一說。當(dāng)公司老板決定建立大數(shù)據(jù)團隊的那一刻，就決定了這是一筆不菲的投入，不管是自建數(shù)據(jù)平臺還是使用第三方云平臺(友情提醒創(chuàng)業(yè)老板們)。
????對于決定自建數(shù)據(jù)平臺的公司來說，大數(shù)據(jù)運維這個職位基本也就確定了的。現(xiàn)在大數(shù)據(jù)運維職位在一般公司內(nèi)還處于模糊階段，比如崗位要求都是寫要熟悉或者精通Hadoop、Hdfs、HBase、Hive、Spark、Storm、Kafka等技術(shù)棧，一個普通的工程師短時間內(nèi)很少能研究這么多系統(tǒng)，況且這些系統(tǒng)的技術(shù)更新迭代又非常的快，既然這種人這么少，為啥又都這樣要求呢？原因很簡單，這就是這個行業(yè)發(fā)展階段和認(rèn)知水平。其實在BAT已經(jīng)是按照不同系統(tǒng)在細(xì)分了，比如有專門負(fù)責(zé)hbase的同學(xué)，有專門負(fù)責(zé)hive的同學(xué)等。
????對于有意向該崗位的同學(xué)要有極高的自我學(xué)習(xí)能力和要求，而且不能間斷，這是一條不折不扣技術(shù)之路。
系列文章
大數(shù)據(jù)崗位要求之大數(shù)據(jù)開發(fā)工程師
大數(shù)據(jù)崗位要求之?dāng)?shù)據(jù)測試
大數(shù)據(jù)崗位要求之?dāng)?shù)據(jù)挖掘
大數(shù)據(jù)崗位要求之?dāng)?shù)據(jù)倉庫
大數(shù)據(jù)崗位要求之?dāng)?shù)據(jù)產(chǎn)品經(jīng)理
大數(shù)據(jù)崗位要求之?dāng)?shù)據(jù)分析師
大數(shù)據(jù)崗位介紹-引子(能力三核模型)
