學(xué)完python可以從事什么崗位，薪資怎么樣？

學(xué)習(xí)Python可以做python開(kāi)發(fā)工程師、python高級(jí)工程師、Web網(wǎng)站開(kāi)發(fā)工程師、Python自動(dòng)化測(cè)試、Linux運(yùn)維工程師、python游戲開(kāi)發(fā)工程師、python技術(shù)經(jīng)理、python開(kāi)發(fā)實(shí)習(xí)等職業(yè)選擇。

根據(jù)職友集數(shù)據(jù)顯示，全國(guó)python平均工資：￥ 13730/月，取自 18230 份樣本，較 2019 年，減少 15.8%。python工資按工作經(jīng)驗(yàn)統(tǒng)計(jì)，其中應(yīng)屆生工資￥7750，1-3年工資￥11670，3-5年工資￥17280，5-10年工資￥24040，10年以上工資￥27500，該數(shù)據(jù)僅供參考。

各種語(yǔ)言寫網(wǎng)絡(luò)爬蟲有什么優(yōu)點(diǎn)缺點(diǎn)？

如果是一個(gè)站點(diǎn)，單一目的，用習(xí)慣的語(yǔ)言寫吧，學(xué)別的語(yǔ)言用的時(shí)間都?jí)蛑貥?gòu)兩遍的了。如果是有100左右的站點(diǎn)，做個(gè)框架，把你的爬蟲管理起來(lái)，比起怎么寫更重要。ok，以上兩個(gè)都是 “手動(dòng)” 寫模板的（當(dāng)然，我們會(huì)有一些小插件等輔助工具）。手動(dòng)寫模板的好處是：當(dāng)站點(diǎn)不多的時(shí)候——快，靈活。在這樣的場(chǎng)景和目的下，選擇你習(xí)慣的語(yǔ)言，有最多頁(yè)面解析和 HTTP 請(qǐng)求支持的庫(kù)的語(yǔ)言最好。比如 python，java。注意，這么選擇的唯一原因是啟動(dòng)成本高于編寫成本當(dāng)你面臨的是1000個(gè)站點(diǎn)這個(gè)量級(jí)的時(shí)候，可能你需要編寫一個(gè)模板生成器，當(dāng)你面臨的是 1w 個(gè)站點(diǎn)以上，但是是同一類型的站點(diǎn)，可能你需要自動(dòng)模板挖掘。在這個(gè)階段，算法更重要，所以代碼編寫的便利程度決定你的選擇。當(dāng)然，當(dāng)算法穩(wěn)定之后，就變成下面那個(gè)問(wèn)題了。當(dāng)你面臨的是每天幾十億的網(wǎng)頁(yè)，來(lái)一次全量計(jì)算算一周，每個(gè)頁(yè)面需要提取標(biāo)題，主圖，發(fā)布時(shí)間，網(wǎng)頁(yè)分塊，頁(yè)面價(jià)值。不可能有人給他們寫“腳本”，配模板。大量的建樹(shù)，分詞，機(jī)器學(xué)習(xí)，打分，follow 鏈接質(zhì)量預(yù)測(cè)，篩選。占用大量的計(jì)算。這個(gè)階段，計(jì)算速度就非常重要了，除非你能說(shuō)服老大，給你加幾千臺(tái)機(jī)器。相對(duì)于這樣的需求，重新編寫所有基礎(chǔ)組件都可以。語(yǔ)言的選擇就會(huì)選擇執(zhí)行速度快的了。需要說(shuō)明的一點(diǎn)是，靈活度，或者說(shuō)抽取準(zhǔn)確性，從上到下是依次遞減的。PM也不會(huì)要求你能對(duì)幾百億的網(wǎng)站準(zhǔn)確抽取每個(gè)字段對(duì)吧。

最后說(shuō)一下抓取的問(wèn)題。調(diào)度抓取對(duì)于每個(gè)爬蟲都是必要的，但卻沒(méi)什么好說(shuō)的，不同量級(jí)自然有不同的做法，但是這樣的系統(tǒng)一般目的明確，少包依賴，不需要你不斷修改。并且在架構(gòu)中，往往可以是獨(dú)立組件，和下游是不同語(yǔ)言都行，愛(ài)用什么寫用什么寫。。對(duì)于機(jī)房帶寬來(lái)說(shuō)，下行基本是沒(méi)人用的，只要你和對(duì)方網(wǎng)站愿意，抓取速度不是瓶頸。反而，計(jì)算對(duì)方壓力，篩選重復(fù)，高質(zhì)鏈接更重要。而這又反過(guò)來(lái)帶來(lái)了計(jì)算的壓力。

我剛到公司實(shí)習(xí)，經(jīng)理讓我明天看代碼熟悉一下，我現(xiàn)在根本聽(tīng)不懂經(jīng)理講的什么？？

你這個(gè)項(xiàng)目是maven來(lái)進(jìn)行管理的，那個(gè)pom.xml是maven來(lái)管理依賴的jar包，lib下面當(dāng)然是jar了，你可以不用看，代碼都在src/main下面，java下面是代碼，webapp下面是jsp頁(yè)面之類的，src/test下面是測(cè)試類的java，target是打包生成war等包的文件夾，首先你要看看這個(gè)項(xiàng)目的需求文檔，這個(gè)項(xiàng)目到底是干嘛的，然后這個(gè)框架的架構(gòu)，是那種框架自己熟悉不，不熟悉趕快找資料學(xué)習(xí)，然后看代碼，找個(gè)功能，它是怎么調(diào)用到數(shù)據(jù)庫(kù)的模擬走一遍。。。