● 熟悉數據分析常用方法,如指標分析、漏斗分析等。
● 熟悉Hadoop大數據生態體系,熟悉HDFS讀寫流程、MR Shuffle流程、Yarn作業提交流程及調度策略,對HA集群、MR Shuffle的優化有相關了解。
● 熟練運用Hive對數據進行查詢、統計等操作,對Hive優化的思路與方法有相關的了解,了解Hive底層執行原理。
● 熟悉Spark分布式計算引擎,熟悉 Spark Core 底層原理及 Spark 常用算子,熟悉 Spark 內存管理機制,能根據業務需求使用Spark SQL進行數據處理、查詢、統計。
● 熟悉 Oracle 、MySql 關系型數據庫,熟悉關系型數據庫的存儲過程和事務機制,了解數據庫的索引及優化。
● 熟悉 Python 編程語言,能用pandas、numpy進行數據處理。
● 熟悉 Linux 系統,掌握常用的 Linux 命令,能夠完成日常工作中 Shell 腳本的編寫。
● 熟悉永洪BI,能針對不同場景制作相關報表解決實際業務需求。
● 熟悉EXCEL,能通過EXCEL完成數據處理相關操作。