崗位職責:
1、大數據平臺開發與維護:
(1)參與開發企業級大數據平臺架構,包括數據采集、存儲、計算、調度等模塊;
(2)負責 Hadoop、Spark、Flink、Kafka 等大數據組件的部署、配置與優化;
(3)開發數據集成框架,實現多源數據(結構化 / 非結構化)的高效采集與同步;
2、數據處理與算法開發:
(1)參與設計與開發批量/流式數據處理流程,實現數據清洗、轉換、聚合等 ETL 操作;
(2)開發高性能數據計算算法,優化數據處理效率與資源利用率;
(3)基于業務需求構建數據模型,參與設計數據倉庫分層架構(ODS/DWD/DWS/ADS);
3、系統優化與技術攻關:
(1)分析大數據系統性能瓶頸,優化作業調度、資源分配與任務執行效率;
(2)解決大數據開發中的技術難題(如數據傾斜、內存溢出、分布式事務等);
(3)跟蹤大數據技術前沿,推動新技術(如實時計算、湖倉一體)在項目中的落地;
4、數據可視化與協作:
(1)開發數據可視化組件與報表系統,支撐業務決策(如 Tableau、Superset 集成);
(2)與數據挖掘、算法團隊協作,提供高效的數據處理接口與計算服務;
(3)依據開發規范編寫技術文檔,確保團隊開發質量與協作效率;
5、業務支撐與落地
(1)深入理解業務需求(如彩票業務、營銷分析、風控場景),設計數據解決方案;
(2)基于業務場景優化數據模型,提升數據服務的響應速度與準確性;
(3)參與業務需求評審,提供數據層面的技術可行性建議;
任職條件
1、教育程度:計算機、數學、統計學相關專業;本科及以上學歷。
2、工作經驗:具備5年及以上專業工作經驗。
3、專業知識:
(1)精通 Java/Scala 編程,熟悉分布式系統原理(CAP 定理、BASE理論);
(2) 深入理解Hadoop/Spark/Flink生態,掌握HDFS、YARN、Flink 等核心組件;
(3) 熟悉數據倉庫理論,掌握 Hive、HBase、ClickHouse 等存儲技術;
(4)熟悉 Kafka、Flume、NiFi 等數據采集工具,掌握數據同步與集成方案。
4、技能要求:
(1)熟練使用Spark/Flink進行批量/流式數據處理,具備實時計算經驗;
(2)掌握DolphonScheduler/Azkaban 等工作流調度工具,熟悉分布式任務調度機制;
(3)具備大數據系統性能調優能力(如JVM 調優、資源隊列配置、任務并行度優化);
(4)熟悉Docker/Kubernetes容器化部署,具備大數據平臺運維經驗;
(5)掌握Git、Maven 等開發工具,熟悉 CI/CD 流程與代碼管理規范。
5、核心能力素質:
(1)具有較強的學習能力、創新能力、邏輯思維能力、團隊協作能力、溝通協調能力、抗壓能力;
(2)具備求知欲、責任心、進取心、鉆研精神、嚴謹等素質。