服務職責 :
1、負責大數據集群的日常維護,包括監控、告警響應、告警處理等。
2、負責大數據集群的故障應急處理、根因分析、優化治理和隱患整改等。
3、負責大數據集群的租戶管理,包括存儲資源劃分、計算資源劃分和權限管控等。
4、負責大數據集群各組件的搭建、縮容、擴容、版本升級和遷移。
5、負責編寫運維相關的自動化腳本,監控系統搭建、優化,撰寫大數據平臺運維相關文檔。
6、負責大數據集群各組件BUG修復、安全漏洞修復。
7、大數據平臺7*24小時值班,重大節假日活動期間重保值守。
8、協助上層應用完成異常作業優化。
9、新技術棧、新架構的研究,測試,部署和驗證。
服務要求 :
1、大學專科8年或大學本科5年或研究生3年以上通信、互聯網、計算機等專業領域工作經驗。
2、具有專業領域一個及以上高級認證資質者優先。
3、精通Linux 基本命令,可對大數據集群底座環境進行性能優化。
4、精通ansible、expect、shell等自動化工具。
5、具有CDH、CDP、HDP、開源Hadoop等主流大數據平臺的運營、維護、建設和升級經驗。
6、精通JVM運行原理,并對常見的JVM性能問題進行深度優化。
7、精通HDFS、Yarn、HBASE、Spark、Flink、kafka、zookeeper、Hudi、alluxio、Hive、Trino、Knox、Ranger、MySQL,Oceanbase、Sentry、Clickhouse、LDAP等的原理,可處理常見問題。
8、可使用Ranger、knox、Kerboers、iptables對Hadoop集群進行安全加固。 9、熟練使用Promethus、Grafana、zabbix、Ganglia等開源監控工具的搭建和配置。
10、對Hadoop各組件有源碼級分析能力。
11、掌握SQL語言,可編寫Hive-SQL、MySQL-SQL、Spark-SQL、Flink-SQL。 12、對計算存儲分離、聯邦RBF、數據湖等架構有深入了解。
13、具有較強的學習能力、邏輯思維能力、溝通能力、團隊協作能力,抗壓能力強。
14、熟練使用Microsoft Office、XMind、Visio等辦公軟件。