爬蟲(chóng)開(kāi)發(fā)工程師崗位簡(jiǎn)介

　　爬蟲(chóng)開(kāi)發(fā)工程師是掌握python和網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，能夠從任何一個(gè)網(wǎng)頁(yè)開(kāi)始，不斷鏈接其它網(wǎng)頁(yè)，實(shí)現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)的索取并開(kāi)發(fā)相關(guān)軟件的工程技術(shù)人員。

　　爬蟲(chóng)開(kāi)發(fā)工程師崗位職責(zé)

　　1、主導(dǎo)和參與爬蟲(chóng)系統(tǒng)的架構(gòu)設(shè)計(jì)、開(kāi)發(fā)與優(yōu)化;

　　2、研究?jī)?yōu)化爬蟲(chóng)算法，提升爬蟲(chóng)系統(tǒng)的穩(wěn)定性、可擴(kuò)展性;

　　3、設(shè)計(jì)爬蟲(chóng)策略和防屏蔽規(guī)則，提升網(wǎng)頁(yè)抓取的效率和質(zhì)量;

　　4、能獨(dú)立解決實(shí)際開(kāi)發(fā)過(guò)程中碰到的各類(lèi)問(wèn)題;

　　5、負(fù)責(zé)大數(shù)據(jù)產(chǎn)品所需網(wǎng)站的信息抓取、解析、清洗等研發(fā)與優(yōu)化工作;

　　爬蟲(chóng)開(kāi)發(fā)工程師崗位要求

　　1. 熟悉爬蟲(chóng)基本原理，熟悉常見(jiàn)的反爬蟲(chóng)技術(shù)，有爬蟲(chóng)相關(guān)項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;

　　2. 熟悉http協(xié)議，熟悉html、xpath等常見(jiàn)的數(shù)據(jù)抽取技術(shù)。

　　3. 精通HTML/DOM

　　4. 熟悉JavaScript或ActionScript3

　　5. 熟悉TCP/IP、HTTP、WebSocket協(xié)議

　　6. 有較強(qiáng)的代碼閱讀能力

　　7. 兩年以上破解/逆向分析經(jīng)驗(yàn)

　　8. Python語(yǔ)言

　　9. 參與過(guò)多人協(xié)作項(xiàng)目，擁有大批量分布式多線程抓取經(jīng)驗(yàn)者優(yōu)先

　　爬蟲(chóng)開(kāi)發(fā)工程師發(fā)展前景

　　其實(shí)爬蟲(chóng)涉及的東西挺多的，包括JS逆向，安卓逆向、架構(gòu)設(shè)計(jì)這些比較復(fù)雜的知識(shí)，尤其是安卓逆向，算是雜學(xué)了，門(mén)檻挺高的，競(jìng)爭(zhēng)力肯定也是可以的。

　　爬蟲(chóng)所做的工作的結(jié)果，得到的是基礎(chǔ)的數(shù)據(jù)。

　　基礎(chǔ)數(shù)據(jù)之上，有哪些發(fā)揮用途的地方，就有哪些拓寬職業(yè)道路的地方。

　　在基礎(chǔ)數(shù)據(jù)上往上走，數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)展示(可視化或Web)、數(shù)據(jù)應(yīng)用(挖掘)，都可以在這些領(lǐng)域繼續(xù)向前。

　　大數(shù)據(jù)和人工智能時(shí)代下，爬蟲(chóng)工程師這幾年是路越走越寬的，但是初級(jí)爬蟲(chóng)工程師基本會(huì)被八爪魚(yú)這類(lèi)軟件替代，高級(jí)爬蟲(chóng)工程師的能力重點(diǎn)不在于會(huì)寫(xiě)幾個(gè)get，post請(qǐng)求，使用正則解析下文本這么簡(jiǎn)單，而是在對(duì)數(shù)據(jù)和業(yè)務(wù)本身的立即深刻，對(duì)于從數(shù)據(jù)中如何整合挖掘價(jià)值有一整套的思路和方法，包括精通數(shù)據(jù)分析，精通各種數(shù)據(jù)庫(kù)。