Python開(kāi)發(fā)高級(jí)工程師

崗位概述1、負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)2、研究爬蟲(chóng)策略和防屏蔽規(guī)則，解決封賬號(hào)、封IP、驗(yàn)證碼等難點(diǎn)攻克，提升數(shù)據(jù)抓取的效率和質(zhì)量3、負(fù)責(zé)爬蟲(chóng)核心算法和策略優(yōu)化，提升爬蟲(chóng)系統(tǒng)的穩(wěn)定性、可擴(kuò)展性4、實(shí)時(shí)監(jiān)控爬蟲(chóng)任務(wù)的執(zhí)行狀況，及時(shí)處理爬蟲(chóng)異常教育背景要求本科及以上工作經(jīng)驗(yàn)7年以上知識(shí)與技能1.有實(shí)際分布式爬蟲(chóng)系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)，熟悉scrapy和scrapy-redis框架及其參數(shù)調(diào)優(yōu)2.熟悉使用request,urllib模塊進(jìn)行源碼下載；Xpath,BeautifulSoup,Re數(shù)據(jù)提取3.能夠處理圖片驗(yàn)證碼、滑塊驗(yàn)證碼、二維碼登錄，短信驗(yàn)證碼；JS反爬，APP抓取數(shù)據(jù)，多緯度獲取數(shù)據(jù)4.熟悉使用selenium，appium，uiautomator2，參與手機(jī)群控系統(tǒng)的規(guī)劃，設(shè)計(jì)與開(kāi)發(fā)5.熟悉網(wǎng)絡(luò)抓包工具charles，fiddler，mitmproxy抓包分析，請(qǐng)求包的偽造6.使用flask編寫(xiě)數(shù)據(jù)接口，查詢elasticsearch，mysql，mogondb數(shù)據(jù)返回前端7.具有hadoop，hdfs，spark，kafka，elasticsearch等大數(shù)據(jù)使用經(jīng)驗(yàn)其他抗壓能力強(qiáng)