崗位職責
1.參與爬蟲項目需求分析,設計高效、穩定的爬蟲架構(含分布式爬蟲方案); 2.開發、調試各類網站 / APP / 接口爬蟲,熟練處理 HTML、JSON、XML 等數據格式,通過 JS 逆向、APP 逆向解析加密參數與請求邏輯,解決復雜反爬機制(如動態加密、簽名驗證、驗證碼、IP 封鎖等);
3.負責數據抓取、解析、清洗、去重、存儲全流程實現,保障數據準確性與時效性;
4.維護現有爬蟲系統,監控運行狀態,優化爬取效率、穩定性與資源占用(如并發控制、斷點續爬、異常重試);
5.調研新型爬蟲技術、逆向工程方法與反爬應對方案,引入行業最佳實踐,提升團隊技術能力;
6.配合數據分析師、產品經理完成數據需求交付,解決數據獲取過程中的突發技術問題(含逆向相關故障排查)。
任職要求 :
1.大專及以上學歷,計算機、軟件工程、數據科學等相關專業優先,
2.1-3 年爬蟲開發經驗(優秀應屆生需具備逆向相關實踐經歷);
3.精通 Python 語言,熟練使用爬蟲框架與工具;
4.熟悉 HTTP/HTTPS 協議、RESTful API,掌握 cookie、session、token 認證機制,能獨立分析接口請求邏輯與加密流程;
5.具備扎實的逆向工程能力:熟練掌握 JS 逆向(如混淆代碼還原、加密函數破解)、APP 抓包與逆向(Fiddler/Charles 抓包、Smali 代碼分析)、常見加密算法破解(AES、RSA、MD5 簽名等);
6.具備反爬策略實戰經驗,如 IP 池構建、UA 池輪換、驗證碼識別(OCR)、滑動驗證破解、動態頁面(JS 渲染)爬取等; 熟悉至少一種數據庫(MySQL、MongoDB、Redis 等),能熟練進行數據存儲、查詢與優化;
了解分布式爬蟲架構設計,具備高并發、大規模數據爬取場景的處理能力者優先;
7.具備良好的代碼規范、問題排查能力,能獨立解決爬蟲與逆向開發中的各類技術難點;
8.責任心強、溝通協作順暢,有較強的學習能力和抗壓能力,能適應業務快速迭代。
加分項
有過電商、資訊、短視頻、企業信息等垂直領域爬蟲 + 逆向結合的項目經驗;
熟悉 Docker、K8s 容器化部署,具備爬蟲自動化部署與監控經驗;
掌握安卓 /iOS 逆向工程實戰經驗,能獨立分析 APP 加密協議、使用 Frida/Xposed 等工具 hook 調試;
具備數據清洗、數據可視化相關經驗,熟悉 Pandas、Matplotlib 等庫; 有過復雜加密場景(如多層簽名、設備指紋驗證)的逆向突破案例。