崗位職責：
1. 根據業務需求，研究爬蟲策略和防屏蔽規則，設計和開發分布式爬蟲，支持高并發多平臺抓??；
2. 負責網頁信息抽取、簡單清洗、數據入庫等開發；
3. 提升爬蟲穩定性及可擴展性，充分利用資源，優化爬蟲效率和質量。
任職資格：
1. 計算機軟件及相關專業本科畢業；
2. 1年以上爬蟲項目開發經驗，優秀畢業生亦可；
3.了解或處理過手機端抓包、源碼分析等；
4.了解或處理過webpack、jsvmp等
5. 熟悉爬蟲原理及常見的反爬蟲技術，如cookie、js加密、base64等；
6. 熟練運用python及多進程、多線程開發；
7. 熟練使用scrapy、requests、selenium、pyppeteer等爬蟲包；
8. 熟悉html，正則、xpath等提取技術；
9. 熟悉Mysql、Redis等數據庫及相關操作；
10. 熟悉Linux基礎命令；
11. 有Django/Flask等web框架開發經驗者優先。