數據引擎（Spark/Flink）開發工程師

崗位職責
1.負責公司數據產品的系統分析與設計工作，承擔核心功能代碼編寫，開發與維護系統公用核心模塊；
2.參與公司平臺實時計算引擎（Flink/Spark）系統的架構設計、開發、優化工作，從穩定性、性能和功能等多方面進行架構設計和實現，能獨立完成功能模塊設計及研發工作；
3.負責公司底層數倉數據庫的基礎建設；
4.負責公司實時計算引擎（Flink/Spark）的迭代開發及功能抽象；
5.接受大數據平臺系統設計與實現復雜度的挑戰，分析和發現系統的優化點，負責推動系統的合理性、可靠性、可用性的提升；

任職要求：
1. 本科以上（含）學歷，5年以上開發經驗；除Java外有Python、Scala語言開發經驗的優先考慮；
2. 具備數據平臺研發經驗，具備優秀的系統架構設計能力；掌握數據管道、元數據管理、數據質量等功能設計；熟悉Lambda/Kappa/湖倉一體等大數據架構；
3. 熟練掌握Spark/Flink引擎工作原理，熟悉其源碼及其任務運行流程，熟悉或了解過Apach Beam；
4. 熟練掌握Flink/Spark數據開發流程和編程模型，具備實時計算任務優化經驗；
5. 熟悉Hadoop生態體系（HDFS/YARN/Hive/HBase等），熟悉Dolphinscheduler的基本使用；
6. 熟悉或使用過至少一種MPP數據庫（如Doris、Clickhouse等）；
7. 具備良好的溝通和團隊協作、邏輯思維能力、業務理解能力和業務抽象能力，做事主動積極，有技術熱情和激情面對挑戰。