崗位職責:
1、完成公司軟件產品的開發、調試、單元測試、維護等工作;
2、研究并優化爬蟲調度策略,提高抓取效率、成功率及內容覆蓋率;
3、處理反爬機制、優化UA、IP池、動態調度等策略;
4、監控和優化爬蟲集群性能,優化異常檢測,爬取策略調優等機制;
5、協助技術文檔、系統說明書、用戶手冊的編輯工作;
任職要求:
1.統招本科及以上學歷,計算機或相關專業;
2.熟悉python,5年及以上經驗,3年以上爬蟲經驗,能夠獨立完成開發任務;
3.了解Scrapy、PySpider等常用爬蟲框架;
4.熟練掌握面向對象編程的理論和應用,熟悉動態庫、網絡編程、多線程編程等常用技術;
5.加分項:具備專業的反爬策略應對能力;