工作內容:
1、參與爬蟲系統的架構設計與開發, 構建高效穩定的爬蟲系統
2、研究優化爬蟲算法,提升爬蟲系統的穩定性、可擴展性
3、設計爬蟲策略和防屏蔽規則,提升網頁抓取的效率和質量
4、能獨立解決實際開發過程中碰到的各類問題
崗位要求:
1、 本科及以上學歷,2-3年上爬蟲開發經驗,有快速迭代、逐步優化的工程項目經驗
2、 熟練使用Pyhton,熟悉常用數據結構、算法,熟練使用常用庫,熟練使用常用的爬蟲框架,了解反爬套路及破解方法
3、 熟悉web前端,對cookie管理、登錄等流程有深入理解,熟悉js、css、html等,熟練使用selenium、phantomjs等工具,有調優經驗者更佳
4、 有多線程、網絡數據處理經驗優先(如HTTP協議,AJAX,爬蟲開發,瀏覽器內核開發,Web服務開發等)
5、 熟練使用fiddler,charles等抓包軟件
6、有分布式、高并發、數據分析等項目經驗者優先;