崗位職責:
1、參與大數(shù)據(jù)基礎平臺的規(guī)劃和架構(gòu)設計,包括但不限于需求分析、架構(gòu)設計、技術(shù)決策以及詳細設計;
2、為現(xiàn)有大數(shù)據(jù)平臺提供性能調(diào)優(yōu)、架構(gòu)優(yōu)化重組,解決系統(tǒng)中的關(guān)鍵問題和技術(shù)難題;
3、把握基礎業(yè)務復雜系統(tǒng)的設計,確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;
4、負責多源異構(gòu)數(shù)據(jù)的采集和加工;
5、持續(xù)挑戰(zhàn)新的技術(shù)方向,攻克大數(shù)據(jù)量,高穩(wěn)定性,易用性等各種技術(shù)難點;
6、完成公司交辦的其他相關(guān)工作。
任職要求:
1、統(tǒng)招本科及以上,5年以上大數(shù)據(jù)工作經(jīng)驗,具備架構(gòu)、數(shù)據(jù)倉庫設計相關(guān)經(jīng)驗;
2、熟練使用并理解Hadoop架構(gòu)和生態(tài)(Spark、Flink、Hive等);
3、熟練python、java、scala等任意兩種開發(fā)語言;
4、熟練使用clickhouse、ElasticSearch;
5、分布式實時計算平臺架構(gòu)和開發(fā)相關(guān)經(jīng)驗優(yōu)先;
6、有能力進行平臺調(diào)優(yōu)和業(yè)務支撐設計;
7、具有團隊合作、良好的溝通技巧和主動挑戰(zhàn)困難能力;
8、有知識產(chǎn)權(quán)數(shù)據(jù)處理經(jīng)驗優(yōu)先。
9、有爬蟲經(jīng)驗優(yōu)先(反爬、代理、驗證碼等)。