必須會Java,必須會使用scala開發spark任務,必須會flink實時開發,純ETL不合適
崗位職責:
1、主要負責數據倉庫建設,離線和實時場景建模;
2、參與業務梳理和業務分析場景應用;
3、對數據的穩定性和業務一致性進行保障;
4、梳理業務資產并進行數據治理,支持數據接入接出服務。
任職要求:
1、本科及以上學歷,計算機相關專業;
2、 3年以上大數據工作經驗;
3、扎實的java基礎,熟練使用spring boot,spring cloud框架;
4、熟練使用scala,python語言。
5、熟練企業級數據倉庫體系構建,精通多種數據源SQL。
6、掌握分布式計算原理及hadoop、spark、kafka、hbase、hive、flink、hbase、es等大數據體系框架。
7、熟練使用datax,seatunnel等離線數據處理工具;
8、熟練linux常用操作命令、部署應用等。
9、掌握presto/trino、clickhouse、doris數據庫的使用。