Hadoop研發(fā)工程師是做什么的?本文提供Hadoop研發(fā)工程師的崗位職責(zé)例子,包括詳細(xì)的工作內(nèi)容及任職要求。崗位職責(zé)：
1、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)與研發(fā)；
2、負(fù)責(zé)大數(shù)據(jù)產(chǎn)品的數(shù)據(jù)研發(fā)；
3、助力數(shù)據(jù)化運(yùn)營(yíng)業(yè)務(wù)，與算法同學(xué)配合構(gòu)建豐富多樣的BI應(yīng)用。

任職要求：

1、有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)，熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)開(kāi)發(fā)經(jīng)驗(yàn)，有Spark/Flink的開(kāi)發(fā)經(jīng)驗(yàn)尤佳；
2、較為豐富的數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)平臺(tái)的架構(gòu)經(jīng)驗(yàn)，精通數(shù)據(jù)倉(cāng)庫(kù)建模及ETL設(shè)計(jì)開(kāi)發(fā)；有較為系統(tǒng)的海量數(shù)據(jù)性能處理經(jīng)驗(yàn)；在大數(shù)據(jù)資產(chǎn)管理與治理有一定成功產(chǎn)品化經(jīng)驗(yàn)；
3、具備一定的JAVA、Python語(yǔ)言的開(kāi)發(fā)能力，具備機(jī)器學(xué)習(xí)算法能力尤佳；
4、 良好的思維邏輯性、語(yǔ)言表達(dá)能力；有較好英語(yǔ)口語(yǔ)能力，將安排海外崗位。崗位職責(zé)：
1. 基于Hadoop、Spark、Hive、kettle等大數(shù)據(jù)計(jì)算平臺(tái)的架構(gòu)構(gòu)建，數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)、開(kāi)發(fā)分布式計(jì)算業(yè)務(wù)，專注于實(shí)時(shí)計(jì)算、即時(shí)計(jì)算、流式計(jì)算，大數(shù)據(jù)應(yīng)用、數(shù)據(jù)挖掘、分析建模等技術(shù);
2. 參與分析可視化、數(shù)據(jù)可視化、數(shù)據(jù)展現(xiàn)工具、創(chuàng)新數(shù)據(jù)業(yè)務(wù)等技術(shù)的研發(fā);
3. 對(duì)Hadoop、Spark、Hive、Impala、Hue、Hbase、Map/Reduce相關(guān)產(chǎn)品進(jìn)行預(yù)研、開(kāi)發(fā);
4. 攻克各種分布式、高并發(fā)、大容量、數(shù)據(jù)隔離、系統(tǒng)解耦等方面的技術(shù)難關(guān);
5. Hadoop相關(guān)業(yè)務(wù)腳本的性能優(yōu)化與提升，不斷提高系統(tǒng)運(yùn)行效率，確保大數(shù)據(jù)計(jì)算平臺(tái)的性能和穩(wěn)定性 ;
任職要求：
1. 精通Hadoop、Spark、Hive、Sqoop、Map/Reduce;
2. 熟悉Hbase Impala、Hue 等相關(guān)技術(shù);
3. 熟練使用Python、Shell、kettle語(yǔ)言及開(kāi)發(fā)工具;
4. 熟練使用MSSQL,Oracle,MySQL;
5. 三年以上工作經(jīng)驗(yàn);
6. 對(duì)大數(shù)據(jù)分析有自己的獨(dú)到見(jiàn)解，具備大數(shù)據(jù)分析的思路;職位描述：
崗位職責(zé)：
1、負(fù)責(zé)hadoop平臺(tái)上的數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)維護(hù)和優(yōu)化；
2、參與大規(guī)模數(shù)據(jù)系統(tǒng)的架構(gòu)設(shè)計(jì)和開(kāi)發(fā)；
3、大規(guī)模數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)和維護(hù)；
4、在線和離線海量數(shù)據(jù)分析平臺(tái)的開(kāi)發(fā)。

崗位要求：
1、計(jì)算機(jī)及相關(guān)專業(yè)統(tǒng)招本科及以上學(xué)歷；
2、2年以上hadoop的應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)，至少一個(gè)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)或大數(shù)據(jù)處理項(xiàng)目經(jīng)驗(yàn)；
3、優(yōu)秀的編程開(kāi)發(fā)能力，精通Java，并熟悉python、shell、perl中的一種；
4、對(duì)數(shù)據(jù)結(jié)構(gòu)、算法有深刻理解，有預(yù)測(cè)模型，行為分析模型，推薦模型具體實(shí)施經(jīng)驗(yàn)者優(yōu)先；
5、熟悉hadoop生態(tài)圈中的hive、impala、kafka、flume等，對(duì)hive、impala開(kāi)發(fā)有實(shí)際經(jīng)驗(yàn)者優(yōu)先；
6.、對(duì)新技術(shù)敏感，有一定獨(dú)立分析，技術(shù)研究能力，樂(lè)于接受挑戰(zhàn)，具有良好的團(tuán)隊(duì)合作精神。崗位職責(zé)：
1、負(fù)責(zé)Hadoop、Spark、Storm、Kafka等開(kāi)源大數(shù)據(jù)產(chǎn)品組件的二次開(kāi)發(fā)；
2、負(fù)責(zé)Hadoop等大數(shù)據(jù)產(chǎn)品與神通MPP集群大數(shù)據(jù)產(chǎn)品的集成。
3、跟蹤大數(shù)據(jù)應(yīng)用動(dòng)向和主流開(kāi)源產(chǎn)品新特征，創(chuàng)新產(chǎn)品應(yīng)用；
職位要求：
1、計(jì)算機(jī)相關(guān)專業(yè)、研究生及以上學(xué)歷。
2、熟悉Java或Scala開(kāi)發(fā)語(yǔ)言
3、研究過(guò)Hadoop、Spark、Hive、Storm、ES等任意一種大數(shù)據(jù)開(kāi)源系統(tǒng)是一個(gè)很好的加分項(xiàng)。
4、至少熟練使用Shell、Perl、Python等一種腳本語(yǔ)言。