核心職責
1. 全鏈路數據通道設計與開發：
1）負責從各大電商平臺（如京東京麥）高效、穩定地采集商品、訂單等關鍵業務數據。
2）核心負責：設計并實現“訂單履約狀態”回傳至上游平臺的數據同步機制，確保妥投、簽收等信息及時、準確同步，形成完整的數據閉環。
2. 系統集成與穩定性保障：
1）與后端訂單履約中臺團隊緊密協作，確保爬蟲系統與內部業務系統無縫集成，數據流轉順暢。
2）構建完善的監控、告警與容錯機制，實時追蹤數據同步狀態，快速定位并修復數據鏈路中的異常，保障7x24小時服務穩定性。
3. 復雜技術難題攻關：
1）應對各類反爬蟲策略，研究并實施包括動態渲染處理、驗證碼破解、行為模擬等高級采集方案。
2）持續優化爬蟲調度策略、去重機制與數據清洗流程，提升數據采集的效率與質量。
4. 團隊賦能與規范建設：
1）編寫高質量技術文檔，沉淀爬蟲領域核心知識與最佳實踐。?
2）指導團隊成員提升技術能力，推動團隊技術標準與研發規范落地。
任職要求
1. 經驗： 3年以上Python爬蟲開發經驗，有領導或核心負責中大型爬蟲項目經驗，必須有電商平臺數據采集與雙向同步（特別是訂單狀態回傳）的成功實踐。
2. 技術能力：
1）精通Python，熟悉Scrapy、Pyspider、Selenium、Playwright等至少一種主流爬蟲框架和工具。
2）深刻理解HTTP/HTTPS協議、TCP/IP網絡原理，熟練掌握瀏覽器調試工具。
3）具備處理動態渲染、反爬蟲策略（如指紋識別、行為驗證）的實戰經驗。
4）熟悉MySQL/PostgreSQL等數據庫，具備良好的SQL優化能力。
3. 業務與軟技能：
1）具備強烈的業務理解能力，能清晰理解“數據采集-履約-回傳”的完整業務流程及其技術實現。
2）擁有出色的系統調試和問題解決能力，面對突發問題能冷靜、快速地定位根源并實施解決方案。
3）良好的溝通能力和團隊協作精神，責任心強，能在高壓下工作。
優先考慮：
1、有分布式爬蟲架構設計經驗者。
2、熟悉Docker容器化部署及常用監控工具（如Prometheus, Grafana）者。
3、有團隊管理或帶教經驗者。
我們提供
1、扁平化管理環境：與技術管理層直接協作，獲得全局業務視角與重要決策參與機會。?
持續成長空間：深耕高復雜度技術領域，在反爬蟲、數據同步等方向實現技術突破與職業進階。