美國大數(shù)據(jù)工程師面試攻略

項目數(shù)據(jù)分析師分享：美國大數(shù)據(jù)工程師面試攻略
方法/步驟
先做一個自我介紹，本科南開后，加入了一個創(chuàng)業(yè)公司kuxun，做實時信息檢索，后來進(jìn)入百度基礎(chǔ)架構(gòu)組，搭建了Baidu App Engine的早期版本，隨后去Duke大學(xué)留學(xué)，在攻讀碩士期間，做跟Hadoop大數(shù)據(jù)相關(guān)的研究項目Starfish，之后在Amazon EC2部門實習(xí)，了解它們的內(nèi)部架構(gòu)，畢業(yè)后加入Linkedin，做廣告組的架構(gòu)，涉及Hadoop調(diào)優(yōu)，Data Pipeline, Offline/Online, 實時系統(tǒng)。最新是在Coursera從事數(shù)據(jù)工程師工作。在多年工作中，除了對技術(shù)的不懈追求，也積累了大量的面試經(jīng)驗，從國內(nèi)的一線互聯(lián)網(wǎng)百度，阿里巴巴，奇虎，人人，到美國一線公司Facebook，Google，Linkedin，Twitter，Amazon，到熱門Startup，Uber，Pinterest，Airbnb，Box，Dropbox，Snapchat，Houzz，拿到10+ offer，并且在Linkedin期間也面試過100+候選人，參與面試題制定，樂于分享并幫助很多人成功求職，實現(xiàn)目標(biāo)。
我們看一下這張硅谷地圖，它坐落于美國加州，從圣何塞到舊金山的狹長地帶，中間是San francisco bay，簡稱灣區(qū)。它的由來是這邊有計算機核心處理器中離不開的硅，30年來，硅谷就發(fā)展成為無數(shù)技術(shù)性創(chuàng)業(yè)公司的搖籃。在20多年前，就有很多硬件公司的輝煌Intel，Oracle，Apple，Cisco成功上市，10年前，互聯(lián)網(wǎng)的興起，造就了Yahoo，Google，Ebay的神奇，而如今Tesla，F(xiàn)acebook，Twitter，Linkedin正扶搖直上，成為美股高科技股的領(lǐng)頭羊。這些公司的市值從幾十billion到幾百billion，PE從負(fù)數(shù)到上千。瘋狂的估值背后也改變了世界。
如果說硅谷成功是有原因的，我覺得有兩點。地理位置是得天獨厚吸引大量人才，這里有Stanford和加州州立高校提供智力庫的支持，在硅谷可以看到來自全世界的最聰明的人，中國人，印度人，猶太人構(gòu)成這些Engineer的主力。雖然國內(nèi)做技術(shù)自嘲為碼農(nóng)，但在硅谷成為一個優(yōu)秀工程師還是收獲頗豐。另一方面創(chuàng)業(yè)是一個永恒的話題，在Stanford有個說法空氣中都飄揚中創(chuàng)業(yè)的味道，一些早期員工通過上市套現(xiàn)又積累經(jīng)驗成了天使投資，Y Combinator，各種技術(shù)forum，meetup，創(chuàng)業(yè)導(dǎo)師，都很活躍。資本的力量功不可沒，早年VC通過投資，收購，上市放大形成一個雪球效應(yīng)。大家總喜歡問什么是next big thing，哪一個是下一個facebook，下一個musk，根據(jù)統(tǒng)計10年能成就一個千億以上的公司，目前這個進(jìn)程正在縮短。
我就拿Linkedin作為例子，介紹高科技公司（FLG）是什么樣子。它是成立2003年的職業(yè)社交網(wǎng)站。在10年的發(fā)展中，也不是一下子爆發(fā)的，目前有3億的全球用戶，雖然跟Facebook，Google 10億＋用戶沒法比，但是它有很好的護(hù)城河，用戶定位高端精準(zhǔn)，單位價值高。這張照片中左邊這位是創(chuàng)始人Reid Hoffman，是Paypal黑幫成員，在硅谷也是呼風(fēng)喚雨的大佬，目前是董事和投資人。中間這位是CEO Jeff，2013年被Glassdoor評為最佳CEO，作為職業(yè)經(jīng)理人，成功幫助linkedin高速成長，他最喜歡提到transformation，希望我們每個員工能挑戰(zhàn)自我，在各自崗位上進(jìn)化。Linkedin提供了員工很好的福利，有號稱灣區(qū)最佳的免費食堂，每個月一次的in day，hack day, 幫助員工內(nèi)部創(chuàng)業(yè)的incumbator計劃。它特點是數(shù)據(jù)驅(qū)動的開發(fā)產(chǎn)品，比如 People you may know, Job you may be interested, 我做過Sponroed Ads 都是需要很強數(shù)據(jù)背景和data scientist的支持。它的Biz model也很獨特，有3個line，面向公司的招聘服務(wù)，面向廣告商的市場服務(wù)，面向個人的訂閱服務(wù)，還有最新Sales Solution，因為這么多可能性，成為華爾街的寵兒。
說硅谷，除了那些已經(jīng)成功的大公司，不得不說現(xiàn)在最新的創(chuàng)業(yè)動向，這些代表了未來下一個FLG。我總結(jié)了一些領(lǐng)域和代表公司：云計算(box, dropbox)，大數(shù)據(jù)(cloudera)，消費互聯(lián)網(wǎng)(pinterest)，健康(fitbit)，通訊(snapchat)，支付(square)，生活(uber)。 這里是華爾街網(wǎng)站更新的最新融資規(guī)模，比如Uber就達(dá)到18Billion的估值，我當(dāng)時拿到offer沒去，還是覺得很瘋狂，如果細(xì)看這張表，大家可以看到硅谷（藍(lán)色）尤其是舊金山它們的融資規(guī)模遠(yuǎn)遠(yuǎn)大于其他地區(qū)，還是地理決定論。而在國內(nèi)的兩家xiaomi，jingdong都是在北京，而最近大家看到一些泡沫論，說什么阿里巴巴上市是否美股到頂，經(jīng)緯VC創(chuàng)始人也提醒我們泡沫的風(fēng)險，我無法判斷。如果能參與到下一波浪潮里面去是很過癮的。我推薦大家去看看 <浪潮之巔>，<奇點臨近>，我還是很期待未來20年的技術(shù)革命。
我個人熱愛大數(shù)據(jù)，在硅谷這也是大家津津樂道的，有個笑話，big data is like teenage talking about sex, nobody know how to do it. 其實大家還是興趣驅(qū)動就好，不要那么功利，大數(shù)據(jù)技術(shù)涉及太多，平常工作中也是慢慢積累，有無數(shù)的坑和技術(shù)細(xì)節(jié)需要克服。并不是說那個技術(shù)最熱就要用哪個，如果你用不好，你的壓力很大的，舉個例子，你用某個開源數(shù)據(jù)庫，發(fā)現(xiàn)它偶爾有數(shù)據(jù)丟失怎么辦，如果這是線上服務(wù)，你不斷收到報警，這時候你當(dāng)時選用它的優(yōu)點 scalable，容錯性都沒意義了。接著說大數(shù)據(jù)，這里面Hadoop作為行業(yè)標(biāo)準(zhǔn)，我面過的除了Google，微軟不用，幾乎所有的公司都在用，建議大家利用這個機會。這里面有三巨頭，cloudera是老牌Hadoop咨詢公司，Hadoop的創(chuàng)始人做CTO，Hortonworks也是很多Hadoop的committee，MapR是提出hdfs的erasure 編碼方式高效而著名，它們都是融了巨資，模式也很像，先推出社區(qū)免費版，但有個商業(yè)版提供更好的管理。 而今年出現(xiàn)一匹黑馬，Spark，簡單說就是內(nèi)存級別的計算，比Hadoop框架里能節(jié)約IO，利用緩存，能適應(yīng)批處理，迭代，流式計算。
這里看一下它的生態(tài)系統(tǒng)，如何學(xué)Hadoop是個循序漸進(jìn)過程，先要理解學(xué)習(xí)它的core系統(tǒng)，HDFS, MapReduce, Common，在外圍有無數(shù)的系統(tǒng)工具方便開發(fā)，我個人用過的是 Avro作為數(shù)據(jù)格式，Zookeeper作為選主的高可靠性的組件，Solr作為搜索接口，Pig搭建工作流，Hive 數(shù)據(jù)倉庫查詢，Oozie管理工作流，HBase 作為KV 分布式存儲，mahout數(shù)據(jù)挖掘的庫，Cassandra nosql 數(shù)據(jù)庫。我建議初學(xué)的考慮Chinahadoop的課程。
而Hadoop本身也是個進(jìn)化過程，幾年前0.19版本，到0.20, 0.23分流成Yarn架構(gòu)最后進(jìn)化成Hadoop2.0, Hadoop1.0 和 2.0 它們的接口和組件是完全不同的，但總體上Hadoop 2.0 是趨勢，因為它有Yarn這樣分離的資源管理平臺，可以以插件的方式開發(fā)上面的Application，解放了生產(chǎn)力，而像Spark，Storm這些新型處理器也是支持Hadoop 2.0的。這里是Hortonworks它們提出來的社區(qū)版本架構(gòu)，可以說標(biāo)準(zhǔn)的制定者，一流的公司制定標(biāo)準(zhǔn)，其他的公司一般用只能用它們提供的穩(wěn)定版，沒有多少話語權(quán)。但從事大數(shù)據(jù)，并不見得是要去這些制定標(biāo)準(zhǔn)的公司，大量的應(yīng)用也是非常考驗架構(gòu)的靈活性。并且能看到實際的產(chǎn)品，很有成就感。
說到今年火的，還是要看Spark。從去年至今，已經(jīng)開了2屆Spark大會，上千人的規(guī)模，無數(shù)人對比Hadoop 100倍的性能提升而興奮。這里說它的背景是誕生于Berkeley的Amplab，它們有個很有名的BDAS(Berkeley Data Analytics Stack)，目前Spark已經(jīng)成為Apache的頂級項目。去年這個實驗室的教授跟學(xué)生出去成立Databricks公司，拉到兩輪上千萬的風(fēng)投，有人成Spark是Hadoop的終結(jié)者嗎？我看今年Spark大會上，所有的Hadoop大佬公司都是鼎力支持，像Cloudrea甚至放棄impala的一線支持而轉(zhuǎn)變成Spark。如果這么發(fā)展下去，星星之火可以燎原啊。它里面用到Scala是一種函數(shù)式語言。里面的組件也很多，有Shark支持SQL類似Hive，有Spark Streaming，MLlib，Graphx，SparkR，BlinkDB。它的核心數(shù)據(jù)結(jié)構(gòu)是RDD，可以跑在各種分布式系統(tǒng)上。總體上是個包容性＋侵略性的系統(tǒng)。我個人也很看好它們的發(fā)展。

請問你已經(jīng)在公司上班了嗎？是做hadoop開發(fā)嗎？能不能指點我一下在hadoop面試時都要注意哪些問題嗎？

看你面試的是什么崗位了
1、不管什么崗位，都需要對hadoop的原理以及存儲有了解，你需要多看看，原理很重要，如果面試官知道你沒怎么有過開發(fā)經(jīng)驗，但是你的原理很透徹，他一定會欣賞你覺得你是個可造至之才。
2、mapreduce的思想一定要懂，并且要會編寫幾個典型的例子，比如單詞統(tǒng)計，比如求平均值，比如top n問題等等
3、一般公司用hadoop，都不只是使用hadoop，還會使用hadoop生態(tài)圈的其他組件，比如hive，hbase，spark，storm等等 ，如果有精力可以看看，了解一下。但如果沒時間，不要把精力全放在這上。
4、以上都是一般都會問到的，如果想讓自己加分，你就要懂一些細(xì)節(jié)，哪怕你根本沒測試過，但是你從書中看到了原理，并理解了也是ok的，比如mapreduce的shuffle過程很重要，你能不能說一下這個過程，涉及到那些參數(shù)，是否能調(diào)優(yōu)？
5、要給自己自信，你要知道你去面試，對方知道你沒有干過多少大數(shù)據(jù)的開發(fā)工作，他不會要求你出個完整方案，解決一下某個問題，也就是問一些基礎(chǔ)的，大家都知道的，只要你這些基礎(chǔ)的比別人扎實，比別人多面試官就會覺得你比別人強，如果你是在不會，可以說這個我不太清楚，不過我知道xxxxx，再不濟(jì)你就說我現(xiàn)在確實還不太明白，不過我可以學(xué)，我只花了5天就把hadoop 這些原理搞明白了，并做了小例子等等。
6、當(dāng)然職位的不同，有可能還會考你算法，這個我就沒辦法了，看你的水平了

程序員什么樣的簡歷面試官一下就否定掉

面試的時候，簡歷就像是我們的第一容貌，總是給人第一印象，聚會都是留給有準(zhǔn)備的人的，那么，程序員的面試官喜歡看什么樣的簡歷呢？下面給大家分析一下。
簡要來說，程序員的簡歷更要求簡潔大方，標(biāo)點符號要正確，段落分布要合理。一般同一種顏色即可，當(dāng)然可以有突出標(biāo)記的第二種顏色。
好了，進(jìn)入正題：
先說基本信息：HR看的基本信息就三種，教育背景、工作背景，英語水平。
教育背景：主要包含學(xué)校、專業(yè)、在線周期(畢業(yè)-入學(xué))、是否統(tǒng)招，其中學(xué)歷為最高學(xué)歷，如果你是本碩連讀，請寫上碩士學(xué)歷
工作背景：主要包含公司名稱、職位、起止年月、手下人數(shù)、匯報對象。
英語水平：寫代碼英文不過關(guān)是不OK的，會寫會說才是關(guān)鍵，不然讓你主導(dǎo)一個項目怎么講給大家聽?
以上是進(jìn)行人員篩選的硬性條件，如果硬性條件不達(dá)標(biāo)，軟性再好也是沒用噠。
接下來說說有哪些特別之處，先說個反面教材，如果你是一個JAVA工程師，在寫技能的時候如下：
1、java后臺開發(fā)
2、部分前臺頁面編寫
3、熟悉項目管理
這是什么鬼，連幾個專業(yè)名詞都不舍得多寫一個，PASS，所以再補充一下就是：
1、熟悉JAVA后臺開發(fā)：后臺模塊主要職責(zé)有：后臺代碼的編寫、包括數(shù)據(jù)庫操作、sql語句優(yōu)化、wsdl技術(shù)調(diào)用接口、生成接口、編寫接口文檔、繪制流程圖等
2、部分前臺頁面的實現(xiàn)：不僅掌握J(rèn)ava技術(shù)，工作期間也學(xué)習(xí)了html5和css3的技術(shù)，因此也能部分實現(xiàn)前臺的頁面
3、git項目的管理。包括遠(yuǎn)程git倉庫項目的創(chuàng)建與刪除等、gitolite項目操作權(quán)限的設(shè)置等。
是不是感覺好了很多?再加點作料。
1. 參與設(shè)計Oracle的企業(yè)管理系統(tǒng)(ERP)， 涉及到財務(wù)等模塊的開發(fā)，熟練使用JAVA以及框架等技術(shù)，以及Oracle數(shù)據(jù)庫PL/SQL。
2. 研究并使用大數(shù)據(jù)相關(guān)的技術(shù)用于解決海量日志的分析，將數(shù)據(jù)存儲到hadoop平臺，然后將分析結(jié)果導(dǎo)入到Oracle數(shù)據(jù)庫，通過Spring框架將結(jié) 果進(jìn)行展示。熟悉hadoop生態(tài)圈的各種開源技術(shù)如hdfs, MapReduce, Hive, Pig, HBase, 等。熟練使用Java語言編程和Linux本語言。
哎呦，不錯，同學(xué)約嘛?
總結(jié)：一定要有項目經(jīng)歷，整體的職業(yè)經(jīng)歷要有連貫性，有一個清晰的自我評價和求職意向，簡歷名稱一定要蓋，如“應(yīng)聘職位-姓名-畢業(yè)學(xué)校-現(xiàn)處公司-工作年限”。
切記：一定要轉(zhuǎn)換成PDF格式的文檔!!!一定要轉(zhuǎn)換成PDF格式的文檔!!!一定要轉(zhuǎn)換成PDF格式的文檔!!!