崗位職責:
1. 設計、開發與維護網頁數據抓取系統,搭建高效穩定采集體系,實現多場景數據精準采集、解析與清洗。
2. 針對反爬機制制定應對策略,優化采集性能,保障數據抓取完整性與時效性。
3. 按需開發 Chrome 瀏覽器插件輔助抓取,提升效率與適配性。
4. 對接數據存儲分析環節,完成結構化處理與交付,配合業務應用落地。
5. 關注采集技術趨勢,迭代優化框架,沉淀開發方法論。
任職要求:
(一)硬性條件
1. 本科及以上學歷,計算機相關專業優先,英語四級及以上。
2. 有實際采集工具/系統開發經驗,有可驗證項目案例。
3. 熟練掌握 Python 或 Java,具備扎實后端開發能力。
4. 精通 JavaScript(ES6+),熟悉 HTML5/CSS3、DOM 操作。
(二)核心技術能力
1. 精通網頁數據抓取核心技術,掌握動態頁面抓取方案。
2. 熟悉采集場景,有驗證碼、IP 代理池搭建等實操經驗。
3. 了解瀏覽器擴展開發,有 Chrome 插件開發經驗者優先。
4. 熟悉 HTTP/HTTPS 協議,熟練使用相關工具及 Git。
(三)綜合素質
1. 具備獨立分析解決問題能力,能快速定位采集異常。
2. 良好溝通協作能力,能將業務需求轉化為技術方案。
3. 對數據抓取技術有持續學習熱情,適應技術迭代。