大數據系統架構師

工作經驗要求：8年以上工作經驗

專業知識要求：

1、熟識整個大數據的完整處理流程，包括各種數據源各種格式的數據的采集、清洗、預處理、存儲、分析挖據、機器學習和數據可視化;

工作技能要求：

1、計算機相關專業，五年項目架構經驗，至少兩年以上的大數據項目架構經驗；
2、深入理解大數據產品和數據分析相關技術和實現方法，具有大數據中臺項目經驗；
3、熟練使用hadoop及hadoop生態圈中的常用組件，如Spark、Hive、zookeeper、Sqoop、Flume、Kafka、Storm、Redis、Spark、Yarn、Impala、HBase、kudu、Presto、solr 等全部或者部分組件,精通其中2-3個；深入理解MapReduce、HDFS、spark RDD/DataFrame原理；4、熟悉Strom或者Spark Streaming等實時計算框架
5、至少熟悉Java，Python，Scala一種或者多種語言，熟悉Oracle\MySQL，連接NoSql更佳，熟悉Linux及Shell；
6、熟悉數據挖掘、可視化分析，各種BI算法和產品等，具有良好數據結構算法原理基礎
6、有機器學習或深度學習經驗優先；
6、熟悉Spring Boot，有Spring Cloud等微服務相關項目開發經驗優先；

工作內容：

1.負責設計并實施分布式數據平臺架構，優化數據存儲、處理和分析流程。參與大數據平臺產品的規劃、設計、開發和迭代，提升平臺的穩定性、可擴展性和易用性。
2.基于Hadoop、Spark、Flink等大數據處理框架，設計并實現高效的海量數據模型，確保數據的高效存儲與訪問。負責數據開發流程，包括數據清洗、轉換、加載及數據治理工作，以滿足業務對數據的高并發訪問需求。
3.利用開源框架進行大數據的采集工作，確保數據的完整性、準確性和及時性。進行深度數據分析，挖掘數據價值，為業務決策提供數據支持。整理分析結果，形成清晰、易于理解的報告或可視化展示。
4.針對大數據處理過程中的性能瓶頸，進行調優和故障排查。利用Hadoop、Spark、Flink等技術的特性，優化資源配置和作業調度，提高數據處理效率。
5.關注大數據領域的新技術、新趨勢，探索其在業務中的應用可能性，推動技術升級和創新。