崗位職責(zé)
1、 負(fù)責(zé)主線產(chǎn)品、平臺(tái)（含業(yè)務(wù)及數(shù)據(jù)中臺(tái)）架構(gòu)設(shè)計(jì)、核心開發(fā)工作（Hadoop&Spark、AI技術(shù)方向），基于業(yè)務(wù)場(chǎng)景設(shè)計(jì)最優(yōu)的系統(tǒng)解決方案；
2、 負(fù)責(zé)大數(shù)據(jù)產(chǎn)品的架構(gòu)設(shè)計(jì)、代碼開發(fā)等任務(wù)；根據(jù)項(xiàng)目要求編寫相關(guān)技術(shù)文檔；
3、 負(fù)責(zé)大數(shù)據(jù)核心技術(shù)和前沿技術(shù)的研究、技術(shù)難點(diǎn)攻關(guān)及應(yīng)用；
4、 構(gòu)架支持超大數(shù)量級(jí)的數(shù)據(jù)的大數(shù)據(jù)平臺(tái)系統(tǒng)，及相關(guān)監(jiān)控，拓展系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)；
5、 利用Hadoop、Spark等大數(shù)據(jù)技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行處理，支持建模（算法）的工程化實(shí)現(xiàn)；
6、 負(fù)責(zé)大數(shù)據(jù)產(chǎn)品的架構(gòu)評(píng)審，代碼評(píng)審，上線評(píng)審；參與數(shù)據(jù)應(yīng)用需求、設(shè)計(jì)、審核和評(píng)審；
7、 負(fù)責(zé)建立和維護(hù)大數(shù)據(jù)平臺(tái)技術(shù)標(biāo)準(zhǔn)規(guī)范，指導(dǎo)開發(fā)人員編寫代碼；
崗位要求
1、計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷，連續(xù)5年以上大數(shù)據(jù)開發(fā)相關(guān)工作經(jīng)驗(yàn)
2、良好的溝通與表達(dá)能力，思路清晰，有強(qiáng)烈的責(zé)任心和創(chuàng)新意識(shí)，業(yè)務(wù)邏輯理解與分析能力強(qiáng)；
3、熟練掌握AI算法、機(jī)器學(xué)習(xí)項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;
4、熟練ETL如Sqoop，Kettle等相關(guān)工具、BI、數(shù)據(jù)分析方法；
5、熟練Hadoop生態(tài)圈的相關(guān)組件，深度了解HDFS、HBase、Hive、Spark、YARN、MR等組件，并具備5年以上Hadoop/Spark代碼級(jí)的調(diào)優(yōu)經(jīng)驗(yàn)
6、熟練離線和實(shí)時(shí)數(shù)據(jù)處理流程，掌握離線數(shù)據(jù)處理框架Hive、Impala、Spark-sql等，掌握實(shí)時(shí)數(shù)據(jù)處理常用技術(shù)工具，包括Storm、SparkStreaming等；
7、熟練MySQL數(shù)據(jù)庫(kù)及其專有概念，熟練書寫SQL語句，精通SQL優(yōu)化；
8、熟練常見數(shù)據(jù)流接入工具，包括Flume、kafka等；