崗位職責:
1. 負責設計、開發和優化網絡爬蟲系統,以實現多平臺信息的高效抓取和分析;
2. 承擔分布式爬蟲系統的建設工作,優化數據調度、抓取、解析和存儲流程;
3. 協助數據分析師完成數據分析任務,提供支持,并參與數據可視化工作;
任職要求:
1. 統招本科以上學歷,計算機相關專業,具備扎實的計算機專業知識,對數據敏感;
2. 至少熟練掌握一門編程語言(如Python、Ruby等),并具備良好的程序設計能力;
3. 熟悉常見的爬蟲框架,包括Scrapy、Selenium等;
4. 具備常見數據庫使用經驗,熟練使用 SQL,如Postgres、MySQL等;
其他加分項:
1. 具備豐富的反爬經驗,熟悉常見的反爬手段和對策;
2. 對新技術和工具有敏銳的洞察力,能夠快速學習和應用。