崗位職責：
1. 負責海外電商平臺數據抓取處理（采集、清洗、入庫全流程）
2. 參與爬蟲系統開發與優化，搭建高可用數據采集體系
3. 協調產品/運營團隊推進項目落地，把控開發進度與質量
4. 編寫規范技術文檔，設計可復用開發模塊
5. 快速適應業務需求變化，承擔專項技術攻堅
6.設計智能代理池+動態IP切換策略,解決目標網站IP封鎖問題,爬蟲穩定性提升至99%。
7.基于Scrapy-Redis開發境外電商促銷信息爬蟲框架,支持Amazon、eBayShopify等20+電商平臺,日均抓取數據500萬+條。
任職要求：
1. 計算機相關專業
2. 精通Python，熟悉Scrapy框架及反爬破解策略
3. 具備MySQL/Redis實戰經驗，熟悉Linux開發環境，Scrapy-Redis+ Kafka + Spark Streaming
4. 有IP代理/驗證碼破解等反反爬實戰能力者優先
5. 邏輯清晰+抗壓強+自驅力強，具備技術文檔撰寫能力
6.實現Cloudflare反爬繞過,支持自動更新Cookie+UserAgent，優化數據流,入庫延遲<1分鐘。