Hadoop運(yùn)維工程師是做什么的?本文提供Hadoop運(yùn)維工程師的崗位職責(zé)例子,包括詳細(xì)的工作內(nèi)容及任職要求。

崗位職責(zé)：

1.負(fù)責(zé)Hadoop相關(guān)項(xiàng)目日常運(yùn)行維護(hù)、故障排查工作；

2.負(fù)責(zé)Hadoop集群的監(jiān)控和配置調(diào)優(yōu)工作；

3.負(fù)責(zé)Hadoop平臺(tái)的用戶管理、權(quán)限分配、資源分配；

4.負(fù)責(zé)集群服務(wù)器軟件的安裝、維護(hù)、部署、更新；

任職要求：

1.熟悉Hadoop生態(tài)，知曉HDFS、YARN、Kafka、HBase、hive等Hadoop生態(tài)技術(shù)的體系結(jié)構(gòu)和運(yùn)行原理可對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行性能調(diào)優(yōu)，升級(jí)擴(kuò)容、性能監(jiān)控以及配置調(diào)優(yōu)具備1年以上Hadoop大數(shù)據(jù)平臺(tái)運(yùn)維經(jīng)驗(yàn)；

2.熟悉linux系統(tǒng)，熟練使用shell/python/perl中至少一種具備1年以上linux管理工作經(jīng)驗(yàn)；

3.熟練使用git版本控制，jenkins持續(xù)集成工具；

4.具有良好的學(xué)習(xí)能力、溝通能力和團(tuán)隊(duì)合作精神；具有強(qiáng)烈的進(jìn)取精神和樂(lè)觀的工作態(tài)。

任職資格
1.計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷；
2.二年以上Hadoop大數(shù)據(jù)平臺(tái)實(shí)際生產(chǎn)環(huán)境經(jīng)驗(yàn)；熟悉Apache spark資源管理、調(diào)度和性能調(diào)優(yōu)；熟悉Spark，Kafka，HDFS，Hive，Hbase，MapReduce，Yarn，F(xiàn)lume，Mesos，ZooKeeper中的2個(gè)以上組件；
3.理解Spark和MapReduce的原理，能夠根據(jù)日志分析程序運(yùn)行出現(xiàn)錯(cuò)誤的原因，并對(duì)程序運(yùn)行的參數(shù)進(jìn)行優(yōu)化，給予業(yè)務(wù)開(kāi)發(fā)人員建議和支持；
4.熟悉分布式系統(tǒng)、分布式計(jì)算系統(tǒng)的工作機(jī)制，熟悉Hadoop生態(tài)圈相關(guān)核心技術(shù)的工作機(jī)理；有一定源碼研究者優(yōu)先；
5.熟悉Linux系統(tǒng)管理工作；熟悉Shell編程，能夠編寫腳本解決日常問(wèn)題，包括自動(dòng)化的工作流設(shè)計(jì)；
6.熟悉Scala或者Python編程者優(yōu)先。

崗位職責(zé)
1.負(fù)責(zé)高并發(fā)，大存儲(chǔ)和實(shí)時(shí)流的Hadoop/spark大數(shù)據(jù)平臺(tái)規(guī)劃，運(yùn)維，監(jiān)控和優(yōu)化工作；
2.保證Hadoop/spark平臺(tái)各核心服務(wù)運(yùn)行的穩(wěn)定、高效；
3.對(duì)Hadoop/spark平臺(tái)運(yùn)維不斷優(yōu)化，提升數(shù)據(jù)產(chǎn)品的質(zhì)量和響應(yīng)速度；
4.開(kāi)發(fā)各種Hadoop大數(shù)據(jù)自動(dòng)化運(yùn)維與監(jiān)控工具；
5.平臺(tái)大數(shù)據(jù)環(huán)境的部署維護(hù)和技術(shù)支持;
6.應(yīng)用故障的處理跟蹤及統(tǒng)計(jì)匯總分析;
7.應(yīng)用安全，數(shù)據(jù)的日常備份和應(yīng)急恢復(fù)。崗位職責(zé)：
1、負(fù)責(zé)移動(dòng)大數(shù)據(jù)中心的建設(shè)與維護(hù)；
2、負(fù)責(zé)安徽移動(dòng)hadoop集群的故障排查、解決；
3、其他省份hadoop項(xiàng)目建設(shè)提供技術(shù)支持。

任職資格：
1、國(guó)家統(tǒng)招本科，2年以上工作經(jīng)驗(yàn)；
2、有Java開(kāi)發(fā)經(jīng)驗(yàn)，對(duì)hadoop源碼有研究，具備部署、實(shí)施、維護(hù)hadoop的能力。
3、有較為豐富的linux 安裝、配置、系統(tǒng)管理、調(diào)優(yōu)經(jīng)驗(yàn)；
4、熟悉存儲(chǔ)、網(wǎng)絡(luò)原理、了解他企業(yè)級(jí)軟件如tomcat、weblogic、mysql等安裝，配置和優(yōu)化；
5、參與過(guò)電信行業(yè)2年以上維護(hù)、實(shí)施、設(shè)計(jì)工作；
6、熟悉系統(tǒng)集成、機(jī)房管理等工作流程。崗位職責(zé)：
1. 負(fù)責(zé)Hadoop及相關(guān)組件的部署和維護(hù)，保證其穩(wěn)定運(yùn)行；
2. 開(kāi)發(fā)和使用Hadoop大數(shù)據(jù)自動(dòng)化運(yùn)維與監(jiān)控工具；
3. 基于大數(shù)據(jù)應(yīng)用需求，不斷調(diào)整和優(yōu)化Hadoop框架及組件的配置，提升性能；
4. 為數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘建模等數(shù)據(jù)應(yīng)用項(xiàng)目提供運(yùn)行環(huán)境支持；
任職要求：
1. 本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，2年以上相關(guān)工作經(jīng)驗(yàn)；
2. 熟悉Linux開(kāi)發(fā)環(huán)境和shell腳本；
3. 熟悉Hadoop及其相關(guān)組件部署維護(hù)，有實(shí)際大數(shù)據(jù)集群運(yùn)維經(jīng)驗(yàn)；
4. 熟悉IT系統(tǒng)基礎(chǔ)架構(gòu)及網(wǎng)絡(luò)原理，具備大型集群運(yùn)維經(jīng)驗(yàn)；
5. 熟悉數(shù)據(jù)倉(cāng)庫(kù)