大數據開發(fā)工程師

崗位職責:

1、大數據平臺搭建與維護；?

2、大數據處理與分析；?

3、數據倉庫建設；?

4、大數據應用軟件開發(fā)；

5、撰寫產品及解決方案文檔，組織內外部培訓；

6、完成上級交辦的其他能力范圍內工作。

崗位要求：

1、掌握離線、實時計算開發(fā)能力，熟悉并能夠熟練運用數據倉庫模型設計方法，具有實際的數據模型設計及ETL開發(fā)經驗，能夠高效完成數據處理流程的設計和實現。?

2、深入掌握Hadoop生態(tài)相關的技術及開發(fā)，包括Flink、Hiveonspark、Doris、CDH、REDIS、Dolphinscheduler、kafka等，具備基于分布式存儲與計算平臺進行應用開發(fā)和性能優(yōu)化的豐富經驗，能夠充分發(fā)揮大數據平臺的性能優(yōu)勢。?

3、熟練掌握至少一門編程語言，如Python、Java、Scala等，具備良好的編程習慣和代碼質量意識，能夠運用編程語言高效實現大數據處理算法和業(yè)務邏輯；同時具備軟件開發(fā)能力，能夠參與大數據相關軟件的需求分析、架構設計和代碼實現，熟悉軟件開發(fā)流程和規(guī)范，有良好的代碼管理和版本控制意識。?

4、熟悉集群環(huán)境的日常運維管理，能夠熟練處理CDH、FLINK、Dolphinscheduler、Doris集群等環(huán)境中出現的各種問題，確保集群的穩(wěn)定運行。?

5、具備扎實的關系型數據庫開發(fā)能力，熟練掌握SQL語言，能夠進行復雜的數據庫查詢、優(yōu)化、存儲過程編寫；熟悉至少一種主流關系型數據庫（如MySQL、Oracle、SQLServer）的架構設計、性能調優(yōu)和日常維護，能夠處理數據的增刪改查及事務管理等。