崗位職責
- 負責公司大數(shù)據(jù)平臺核心業(yè)務模塊的開發(fā)與維護,基于Hadoop、Spark、Flink等主流大數(shù)據(jù)框架,構建高效、穩(wěn)定的數(shù)據(jù)處理鏈路,支撐業(yè)務數(shù)據(jù)化運營需求。
- 參與云平臺(如阿里云、騰訊云、AWS等)大數(shù)據(jù)相關服務的開發(fā)與運維對接,包括但不限于云原生大數(shù)據(jù)組件、數(shù)據(jù)湖/數(shù)據(jù)倉庫服務、Serverless計算等,有云平臺開發(fā)經(jīng)驗者優(yōu)先主導相關模塊。
任職要求
1、熟悉hadoop生態(tài)組件,有hadoop集群搭建調(diào)優(yōu)經(jīng)驗:數(shù)據(jù)均衡、資源優(yōu)化、性能調(diào)優(yōu)
2、熟悉hive、yarn、spark原理,部署搭建Hive,spark集群,SQL優(yōu)化
3、熟悉ranger原理,有ranger調(diào)優(yōu)經(jīng)驗
4、熟悉shell、ansible,有寫shell腳本和ansible腳本能力。
5、熟悉K8S,部署K8S集群,有k8s集群調(diào)優(yōu)經(jīng)驗。