爬蟲工程師
職位描述
1、遵循Robots協(xié)議，采集互聯(lián)網(wǎng)公開的信息，滿足各類業(yè)務(wù)數(shù)據(jù)需求
2、參與團隊分布式爬蟲采集系統(tǒng)的建設(shè)，優(yōu)化數(shù)據(jù)調(diào)度、抓取、解析、存儲全棧流程
3、幫助團隊攻克各種爬蟲技術(shù)難關(guān)，提升海量數(shù)據(jù)系統(tǒng)的抓取效果與性能
4、推動技術(shù)創(chuàng)新，推動相關(guān)技術(shù)在搜索場景中的業(yè)務(wù)落地并取得實際收益
用人要求
1、計算機軟件或相關(guān)專業(yè)本科以上學(xué)歷。2年以上工作經(jīng)驗
2、熟悉網(wǎng)絡(luò)協(xié)議（如HTTP、HTTPS）、Web抓取技術(shù)，瀏覽器渲染原理等
3、有實際的爬蟲開發(fā)經(jīng)驗，熟悉Scrapy、BeautifulSoup、Selenium等爬蟲框架和工具
4、熟悉常見反爬封禁策略，并具備相關(guān)的實戰(zhàn)經(jīng)驗；
5、熟悉Python/Java/Go/C++其中一種語言，具備扎實的編碼能力；了解MapReduce，有大數(shù)據(jù)處理經(jīng)驗更佳
6、思路清晰，優(yōu)秀的分析問題和解決問題的能力，對解決具有挑戰(zhàn)性問題充滿激情，良好的團隊合作精神具有強烈的責任心