任職要求:
1、本科以上,計算機相關專業;3年以上大數據開發經驗,主導過2年以上ETL項目;
2、精通Hive/Spark/Flink,熟練使用Informatica/Kettle/Azkaban - 數據建模 掌握維度建模/實體關系建模方法,熟悉ER/Studio/PowerDesigner工具 - SQL與優化 熟練編寫復雜SQL,具備索引優化/執行計劃分析能力 人才核心特質要求(除通用標準外);
3、 邏輯思維嚴謹、問題解決能力強、跨部門協作高效。
工作內容:
1、數據建模與設計 運用維度建模/實體關系建模設計數倉邏輯與物理模型,適配業務需求 使用ER/Studio、PowerDesigner工具進行模型可視化設計與優化;
2、數據開發與ETL流程構建 基于Hive/Spark/Flink開發數據處理程序,優化ETL流程 配置Informatica/Kettle工具,調度Azkaban/Oozie任務,保障數據一致性 ;
3、 SQL編寫與優化 編寫復雜SQL查詢,優化執行計劃(索引/分區表/語句重構) 管理數據庫對象(表/視圖/存儲過程),提升數據訪問效率;
4、大數據組件應用與維護 部署維護Hadoop/Hive/Spark/Flink集群,調優參數(HDFS/Spark內存) 監控組件運行狀態,協同運維團隊解決故障與性能問題 ;5、 業務理解與協作。深入理解業務流程,與業務部門協作提供數據解決方案 ;6、 BI工具協作。適配Tableau/PowerBI數據模型,優化BI工具數據呈現邏輯