崗位職責：
1、數據采集與處理
1.1設計并開發高效穩定的網絡爬蟲系統，完成多電商平臺數據抓取任務；
1.2對采集到的原始數據進行清洗、去重、結構化處理，確保數據質量符合業務需求；
1.3優化數據存儲方案，將處理后的數據高效入庫至MySQL、MongoDB、Redis等數據庫。
2、反爬策略與突破
2.1分析目標網站的反爬機制，制定針對性突破方案；
2.2運用機器學習、深度學習技術（如模擬用戶行為）提升反爬能化水平；
2.3持續跟蹤平臺反爬策略更新，動態調整爬蟲邏輯以保障數據采集穩定性。
3、系統架構與性能優化
3.1參與分布式爬蟲架構設計，合理分配任務調度，提升系統擴展性與并發處理能力；
3.2監控爬蟲運行狀態，優化網絡請求策略、資源利用率等關鍵指標，解決性能瓶頸問題；
3.3編寫技術文檔，包括系統設計、反爬策略、數據處理流程等，為團隊提供技術支撐。
4、技術協作與支持
4.1與產品、業務團隊緊密協作，確保爬蟲系統與業務需求無縫對接；
4.2為團隊提供技術指導，分享反爬經驗與工具鏈，推動整體技術能力提升。
任職要求：
1、學歷與經驗
1.1本科及以上學歷，計算機科學、軟件工程等相關專業優先；
1.2三年以上爬蟲開發經驗，熟悉大規模數據采集項目全流程。
2、技術能力
2.1編程語言：精通 Python ，熟悉 Node.js 、Java 等至少一門后端語言；
2.2爬蟲框架：具備框架定制能力；
2.3反爬技術：掌握 IP 代理池、驗證碼破解、JS逆向分析、逆向抓取等技術；
2.4數據處理：熟悉 Pandas、NumPy 等庫，具備TB級數據清洗、去重、分類經驗；
2.5數據庫：精通 MySQL、MongoDB等數據庫操作與優化，能設計高效數據存儲方案。
3、軟技能
3.1具備良好的邏輯思維能力與問題解決能力，能獨立分析并解決復雜技術問題；
3.2擁有強烈的團隊合作精神，善于溝通協作，能適應快節奏的項目開發節奏；
3.3對新技術保持好奇心，持續學習反爬策略與數據采集領域的前沿技術。【工作時間】8：30-12：00；13：30-18：00， 周末單雙休；
【員工餐】中餐5葷3素1湯（伙食費150元/月），如需加班公司提供免費晚餐，早餐自理；
【員工宿舍】免費入住2人間，水電費均攤，配有衛生間、wifi、洗衣機、熱水器、空調、廚房；
【福利】：五險、全勤獎、工齡工資、13薪、帶薪年假、生日會、集體旅游、戶外運動、下午茶、外住房補、節日禮品等。