二、Hadoop平臺架構師
工作職責:
1. 負責搭建、維護與管理Hadoop平臺,以及Haddop平臺上的數(shù)據(jù)存儲、維護與優(yōu)化。
2. 參與基于Hadoop中間件的設計開發(fā)工作。
3. 參與離線處理流程和實時處理流程的設計開發(fā)工作。
任職要求:
1. 精通分布式數(shù)據(jù)處理,有三年以上的Hadoop相關開發(fā)經(jīng)驗(Hive,Spark,HBase,Sqoop,F(xiàn)lume等)。
2. 熟悉數(shù)據(jù)倉庫邏輯架構,熟悉ETL流程、元數(shù)據(jù)管理、數(shù)據(jù)質量監(jiān)控等數(shù)據(jù)倉庫主要環(huán)節(jié)。
3. 熟悉Java、Python等開發(fā)語言,精通MapReduce,能編寫Hive UDF,熟悉shell腳本。
4. 有較強的ETL性能優(yōu)化及問題分析、解決能力。
5. 對技術有激情,對代碼有苛刻要求。
6. 有良好的快速學習能力和團隊協(xié)作能力。
7. 有高度責任感和敬業(yè)精神,善于溝通,積極主動,能夠以目標為導向理解工作中相關任務的處理優(yōu)先級關系。
工作職責:
1. 負責搭建、維護與管理Hadoop平臺,以及Haddop平臺上的數(shù)據(jù)存儲、維護與優(yōu)化。
2. 參與基于Hadoop中間件的設計開發(fā)工作。
3. 參與離線處理流程和實時處理流程的設計開發(fā)工作。
任職要求:
1. 精通分布式數(shù)據(jù)處理,有三年以上的Hadoop相關開發(fā)經(jīng)驗(Hive,Spark,HBase,Sqoop,F(xiàn)lume等)。
2. 熟悉數(shù)據(jù)倉庫邏輯架構,熟悉ETL流程、元數(shù)據(jù)管理、數(shù)據(jù)質量監(jiān)控等數(shù)據(jù)倉庫主要環(huán)節(jié)。
3. 熟悉Java、Python等開發(fā)語言,精通MapReduce,能編寫Hive UDF,熟悉shell腳本。
4. 有較強的ETL性能優(yōu)化及問題分析、解決能力。
5. 對技術有激情,對代碼有苛刻要求。
6. 有良好的快速學習能力和團隊協(xié)作能力。
7. 有高度責任感和敬業(yè)精神,善于溝通,積極主動,能夠以目標為導向理解工作中相關任務的處理優(yōu)先級關系。
職位類別: 高級軟件工程師
舉報
- 公司規(guī)模:50 - 99人
- 公司性質:股份公司
- 所屬行業(yè):IT行業(yè)-計算機、互聯(lián)網(wǎng)、通訊、電子、儀器儀表等
- 所在地區(qū):上海-浦東新區(qū)
- 聯(lián)系人:徐方典
- 手機:會員登錄后才可查看
- 郵箱:會員登錄后才可查看
- 郵政編碼:201203
工作地址
- 地址:金科路2889弄長泰廣場C座10層1004室






