崗位職責
1.負責分布式網絡爬蟲系統的設計與開發
2.負責海量數據的爬取、清洗、解析、入庫;
3.針對需要的數據,尋找網站或app內可用的接口
4.研究主流網站和app反爬機制,尋找應對方案;
5.不斷的學習研究行業新技術,提升業務能力,并作團隊分享
6.負責js、Android、IOS應用的逆向工作,能正向還原關鍵算法(* 高階)
崗位要求
1.大專及以上學歷,計算機相關專業;
2.熟悉linux開發環境,熟練掌握java或python編程語言,熟悉js語言;
3.熟練掌握http協議,xpath、csspath、正則表達式,有使用scrapy經驗優先;
4.有redis、rabbitmq、kafka使用經驗;
5.熟悉selenium或Puppeteerr,appium或airtest;
6.熟悉常用反爬手段及其對應方法、技巧;
7.有良好的責任心、溝通能力、學習能力、團隊協作精神;
8.熟悉常用js防護手段及其對應的分析、調試技巧優先;
9.熟悉Android或IOS逆向技術優先;