美國大數(shù)據(jù)工程師面試攻略

項(xiàng)目數(shù)據(jù)分析師分享：美國大數(shù)據(jù)工程師面試攻略
方法/步驟
先做一個(gè)自我介紹，本科南開后，加入了一個(gè)創(chuàng)業(yè)公司kuxun，做實(shí)時(shí)信息檢索，后來進(jìn)入百度基礎(chǔ)架構(gòu)組，搭建了Baidu App Engine的早期版本，隨后去Duke大學(xué)留學(xué)，在攻讀碩士期間，做跟Hadoop大數(shù)據(jù)相關(guān)的研究項(xiàng)目Starfish，之后在Amazon EC2部門實(shí)習(xí)，了解它們的內(nèi)部架構(gòu)，畢業(yè)后加入Linkedin，做廣告組的架構(gòu)，涉及Hadoop調(diào)優(yōu)，Data Pipeline, Offline/Online, 實(shí)時(shí)系統(tǒng)。最新是在Coursera從事數(shù)據(jù)工程師工作。在多年工作中，除了對技術(shù)的不懈追求，也積累了大量的面試經(jīng)驗(yàn)，從國內(nèi)的一線互聯(lián)網(wǎng)百度，阿里巴巴，奇虎，人人，到美國一線公司Facebook，Google，Linkedin，Twitter，Amazon，到熱門Startup，Uber，Pinterest，Airbnb，Box，Dropbox，Snapchat，Houzz，拿到10+ offer，并且在Linkedin期間也面試過100+候選人，參與面試題制定，樂于分享并幫助很多人成功求職，實(shí)現(xiàn)目標(biāo)。
我們看一下這張硅谷地圖，它坐落于美國加州，從圣何塞到舊金山的狹長地帶，中間是San francisco bay，簡稱灣區(qū)。它的由來是這邊有計(jì)算機(jī)核心處理器中離不開的硅，30年來，硅谷就發(fā)展成為無數(shù)技術(shù)性創(chuàng)業(yè)公司的搖籃。在20多年前，就有很多硬件公司的輝煌Intel，Oracle，Apple，Cisco成功上市，10年前，互聯(lián)網(wǎng)的興起，造就了Yahoo，Google，Ebay的神奇，而如今Tesla，F(xiàn)acebook，Twitter，Linkedin正扶搖直上，成為美股高科技股的領(lǐng)頭羊。這些公司的市值從幾十billion到幾百billion，PE從負(fù)數(shù)到上千。瘋狂的估值背后也改變了世界。
如果說硅谷成功是有原因的，我覺得有兩點(diǎn)。地理位置是得天獨(dú)厚吸引大量人才，這里有Stanford和加州州立高校提供智力庫的支持，在硅谷可以看到來自全世界的最聰明的人，中國人，印度人，猶太人構(gòu)成這些Engineer的主力。雖然國內(nèi)做技術(shù)自嘲為碼農(nóng)，但在硅谷成為一個(gè)優(yōu)秀工程師還是收獲頗豐。另一方面創(chuàng)業(yè)是一個(gè)永恒的話題，在Stanford有個(gè)說法空氣中都飄揚(yáng)中創(chuàng)業(yè)的味道，一些早期員工通過上市套現(xiàn)又積累經(jīng)驗(yàn)成了天使投資，Y Combinator，各種技術(shù)forum，meetup，創(chuàng)業(yè)導(dǎo)師，都很活躍。資本的力量功不可沒，早年VC通過投資，收購，上市放大形成一個(gè)雪球效應(yīng)。大家總喜歡問什么是next big thing，哪一個(gè)是下一個(gè)facebook，下一個(gè)musk，根據(jù)統(tǒng)計(jì)10年能成就一個(gè)千億以上的公司，目前這個(gè)進(jìn)程正在縮短。
我就拿Linkedin作為例子，介紹高科技公司（FLG）是什么樣子。它是成立2003年的職業(yè)社交網(wǎng)站。在10年的發(fā)展中，也不是一下子爆發(fā)的，目前有3億的全球用戶，雖然跟Facebook，Google 10億＋用戶沒法比，但是它有很好的護(hù)城河，用戶定位高端精準(zhǔn)，單位價(jià)值高。這張照片中左邊這位是創(chuàng)始人Reid Hoffman，是Paypal黑幫成員，在硅谷也是呼風(fēng)喚雨的大佬，目前是董事和投資人。中間這位是CEO Jeff，2013年被Glassdoor評為最佳CEO，作為職業(yè)經(jīng)理人，成功幫助linkedin高速成長，他最喜歡提到transformation，希望我們每個(gè)員工能挑戰(zhàn)自我，在各自崗位上進(jìn)化。Linkedin提供了員工很好的福利，有號稱灣區(qū)最佳的免費(fèi)食堂，每個(gè)月一次的in day，hack day, 幫助員工內(nèi)部創(chuàng)業(yè)的incumbator計(jì)劃。它特點(diǎn)是數(shù)據(jù)驅(qū)動(dòng)的開發(fā)產(chǎn)品，比如 People you may know, Job you may be interested, 我做過Sponroed Ads 都是需要很強(qiáng)數(shù)據(jù)背景和data scientist的支持。它的Biz model也很獨(dú)特，有3個(gè)line，面向公司的招聘服務(wù)，面向廣告商的市場服務(wù)，面向個(gè)人的訂閱服務(wù)，還有最新Sales Solution，因?yàn)檫@么多可能性，成為華爾街的寵兒。
說硅谷，除了那些已經(jīng)成功的大公司，不得不說現(xiàn)在最新的創(chuàng)業(yè)動(dòng)向，這些代表了未來下一個(gè)FLG。我總結(jié)了一些領(lǐng)域和代表公司：云計(jì)算(box, dropbox)，大數(shù)據(jù)(cloudera)，消費(fèi)互聯(lián)網(wǎng)(pinterest)，健康(fitbit)，通訊(snapchat)，支付(square)，生活(uber)。 這里是華爾街網(wǎng)站更新的最新融資規(guī)模，比如Uber就達(dá)到18Billion的估值，我當(dāng)時(shí)拿到offer沒去，還是覺得很瘋狂，如果細(xì)看這張表，大家可以看到硅谷（藍(lán)色）尤其是舊金山它們的融資規(guī)模遠(yuǎn)遠(yuǎn)大于其他地區(qū)，還是地理決定論。而在國內(nèi)的兩家xiaomi，jingdong都是在北京，而最近大家看到一些泡沫論，說什么阿里巴巴上市是否美股到頂，經(jīng)緯VC創(chuàng)始人也提醒我們泡沫的風(fēng)險(xiǎn)，我無法判斷。如果能參與到下一波浪潮里面去是很過癮的。我推薦大家去看看 <浪潮之巔>，<奇點(diǎn)臨近>，我還是很期待未來20年的技術(shù)革命。
我個(gè)人熱愛大數(shù)據(jù)，在硅谷這也是大家津津樂道的，有個(gè)笑話，big data is like teenage talking about sex, nobody know how to do it. 其實(shí)大家還是興趣驅(qū)動(dòng)就好，不要那么功利，大數(shù)據(jù)技術(shù)涉及太多，平常工作中也是慢慢積累，有無數(shù)的坑和技術(shù)細(xì)節(jié)需要克服。并不是說那個(gè)技術(shù)最熱就要用哪個(gè)，如果你用不好，你的壓力很大的，舉個(gè)例子，你用某個(gè)開源數(shù)據(jù)庫，發(fā)現(xiàn)它偶爾有數(shù)據(jù)丟失怎么辦，如果這是線上服務(wù)，你不斷收到報(bào)警，這時(shí)候你當(dāng)時(shí)選用它的優(yōu)點(diǎn) scalable，容錯(cuò)性都沒意義了。接著說大數(shù)據(jù)，這里面Hadoop作為行業(yè)標(biāo)準(zhǔn)，我面過的除了Google，微軟不用，幾乎所有的公司都在用，建議大家利用這個(gè)機(jī)會(huì)。這里面有三巨頭，cloudera是老牌Hadoop咨詢公司，Hadoop的創(chuàng)始人做CTO，Hortonworks也是很多Hadoop的committee，MapR是提出hdfs的erasure 編碼方式高效而著名，它們都是融了巨資，模式也很像，先推出社區(qū)免費(fèi)版，但有個(gè)商業(yè)版提供更好的管理。 而今年出現(xiàn)一匹黑馬，Spark，簡單說就是內(nèi)存級別的計(jì)算，比Hadoop框架里能節(jié)約IO，利用緩存，能適應(yīng)批處理，迭代，流式計(jì)算。
這里看一下它的生態(tài)系統(tǒng)，如何學(xué)Hadoop是個(gè)循序漸進(jìn)過程，先要理解學(xué)習(xí)它的core系統(tǒng)，HDFS, MapReduce, Common，在外圍有無數(shù)的系統(tǒng)工具方便開發(fā)，我個(gè)人用過的是 Avro作為數(shù)據(jù)格式，Zookeeper作為選主的高可靠性的組件，Solr作為搜索接口，Pig搭建工作流，Hive 數(shù)據(jù)倉庫查詢，Oozie管理工作流，HBase 作為KV 分布式存儲(chǔ)，mahout數(shù)據(jù)挖掘的庫，Cassandra nosql 數(shù)據(jù)庫。我建議初學(xué)的考慮Chinahadoop的課程。
而Hadoop本身也是個(gè)進(jìn)化過程，幾年前0.19版本，到0.20, 0.23分流成Yarn架構(gòu)最后進(jìn)化成Hadoop2.0, Hadoop1.0 和 2.0 它們的接口和組件是完全不同的，但總體上Hadoop 2.0 是趨勢，因?yàn)樗衁arn這樣分離的資源管理平臺，可以以插件的方式開發(fā)上面的Application，解放了生產(chǎn)力，而像Spark，Storm這些新型處理器也是支持Hadoop 2.0的。這里是Hortonworks它們提出來的社區(qū)版本架構(gòu)，可以說標(biāo)準(zhǔn)的制定者，一流的公司制定標(biāo)準(zhǔn)，其他的公司一般用只能用它們提供的穩(wěn)定版，沒有多少話語權(quán)。但從事大數(shù)據(jù)，并不見得是要去這些制定標(biāo)準(zhǔn)的公司，大量的應(yīng)用也是非常考驗(yàn)架構(gòu)的靈活性。并且能看到實(shí)際的產(chǎn)品，很有成就感。
說到今年火的，還是要看Spark。從去年至今，已經(jīng)開了2屆Spark大會(huì)，上千人的規(guī)模，無數(shù)人對比Hadoop 100倍的性能提升而興奮。這里說它的背景是誕生于Berkeley的Amplab，它們有個(gè)很有名的BDAS(Berkeley Data Analytics Stack)，目前Spark已經(jīng)成為Apache的頂級項(xiàng)目。去年這個(gè)實(shí)驗(yàn)室的教授跟學(xué)生出去成立Databricks公司，拉到兩輪上千萬的風(fēng)投，有人成Spark是Hadoop的終結(jié)者嗎？我看今年Spark大會(huì)上，所有的Hadoop大佬公司都是鼎力支持，像Cloudrea甚至放棄impala的一線支持而轉(zhuǎn)變成Spark。如果這么發(fā)展下去，星星之火可以燎原啊。它里面用到Scala是一種函數(shù)式語言。里面的組件也很多，有Shark支持SQL類似Hive，有Spark Streaming，MLlib，Graphx，SparkR，BlinkDB。它的核心數(shù)據(jù)結(jié)構(gòu)是RDD，可以跑在各種分布式系統(tǒng)上?？傮w上是個(gè)包容性＋侵略性的系統(tǒng)。我個(gè)人也很看好它們的發(fā)展。

系統(tǒng)集成工程師需要具備哪些技能

系統(tǒng)集成 需要的技能有： 1：網(wǎng)絡(luò) 基礎(chǔ)知識：深刻理解網(wǎng)絡(luò)基本概念，例如ISO/OSI、TCP/IP、VLAN、各種LAN、WAN協(xié)議、各種路由協(xié)議、NAT等等 2：主機(jī) 基礎(chǔ)知識：熟悉服務(wù)器的基本知識，例如各種RAID、各種外設(shè)、SCSI卡等等 3：數(shù)據(jù)庫與 中間件 基礎(chǔ)知識：深刻理解數(shù)據(jù)庫的基本概念，會(huì)使用簡單的SQL語句，了解數(shù)據(jù)庫復(fù)制、 數(shù)據(jù)倉庫 等高級概念 4：安全 基礎(chǔ)知識：深刻理解網(wǎng)絡(luò)安全的重要性，了解各種安全設(shè)備的作用 5：存儲(chǔ)和備份 基礎(chǔ)知識：了解存儲(chǔ)的基本概念和主流廠商，了解磁帶、DAS、NAS、SAN的基本概念 備份：深刻理解備份的重要作用，了解主流備份軟件諸如ARC Server、NetBackup等軟件的安裝、配置和使用、熟悉主流數(shù)據(jù)庫的備份方法和策略 6：音視頻 視頻會(huì)議：了解視頻會(huì)議的基本概念、組成部分和協(xié)議，了解主流的視頻終端和MCU，能夠獨(dú)立操作 泰德 的視頻終端和Radvision的MCU 視頻點(diǎn)播：了解視頻點(diǎn)播和 流媒體 的基本概念、組成部分和協(xié)議，能夠安裝和配置視頻點(diǎn)播所需要的軟件（RealServer等）和硬件（視頻采集卡等） VOIP：了解VOIP的的基本概念和應(yīng)用，了解語音網(wǎng)關(guān)和語音關(guān)守，能夠配置VoIP 組播：了解組播的基本概念和應(yīng)用以及組播路由協(xié)議，能夠配置簡單的組播 ，各種音視頻設(shè)備：了解各種音頻、視頻設(shè)備以及各種線纜。 7：應(yīng)用 HTTP：FTP：Mail：DNS：和其他系統(tǒng)應(yīng)用 公 8：弱電 了解綜合布線、門禁、監(jiān)控、智能建筑等基本概念，熟練制作各種網(wǎng)絡(luò)線纜 9：其他專項(xiàng)技術(shù) 高可用性：理解高可用性的概念，能夠安裝配置IBM HACMP、Rose、Sun Cluster的安裝、配置和維護(hù) UPS：熟悉UPS的基礎(chǔ)知識、自己能夠獨(dú)立安裝小型UPS、熟悉各種電纜 電信：熟悉各種電信線路，了解電信的各種信令 WLAN：了解 無線局域網(wǎng) 的基本概念和組成部分 網(wǎng)絡(luò)管理：了解網(wǎng)絡(luò)管理的作用和網(wǎng)絡(luò)管理協(xié)議（SNMP、RMON等），能夠使用Cisco Ciscoworks、Nortel Optivity、HP OpenView等產(chǎn)品，能夠用Sniffer等軟件對網(wǎng)絡(luò)進(jìn)行監(jiān)控和排錯(cuò) 10：項(xiàng)目管理 深刻理解項(xiàng)目管理中的基本概念，能用運(yùn)用項(xiàng)目管理中的知識指導(dǎo)自己的項(xiàng)目

美國電子工程專業(yè)發(fā)展前景如何

美國電子工程專業(yè)就業(yè)方向非常廣泛非常廣泛，包括：互聯(lián)網(wǎng)軟硬件的研發(fā)；通訊協(xié)議及系統(tǒng)/網(wǎng)絡(luò)的開發(fā)；集成電路及芯片開發(fā)：電腦主板、CPU或者顯卡上的芯片的開發(fā)都屬于這一類別；精密儀器設(shè)計(jì)開發(fā)人工智能及機(jī)器人研發(fā)：結(jié)合計(jì)算機(jī)科學(xué)和控制系統(tǒng)工程；新能源研發(fā)：光能和風(fēng)能研發(fā)，新能源汽車、電池研發(fā)，以及能源轉(zhuǎn)化率和能源利用率的提升研究等等，下面由我?guī)Т蠹以敿?xì)了解美國電子工程專業(yè)發(fā)展前景如何。

美國電子工程專業(yè)發(fā)展前景如何

一、美國電子工程專業(yè)就業(yè)方向

EE專業(yè)就業(yè)方向非常廣泛，包括：

互聯(lián)網(wǎng)軟硬件的研發(fā)

通訊協(xié)議及系統(tǒng)/網(wǎng)絡(luò)的開發(fā)

集成電路及芯片開發(fā)：電腦主板、CPU或者顯卡上的芯片的開發(fā)都屬于這一類別；

精密儀器設(shè)計(jì)開發(fā)

人工智能及機(jī)器人研發(fā)：結(jié)合計(jì)算機(jī)科學(xué)和控制系統(tǒng)工程；

新能源研發(fā)：光能和風(fēng)能研發(fā)，新能源汽車、電池研發(fā)，以及能源轉(zhuǎn)化率和能源利用率的提升研究

電力方向：從事智能電網(wǎng)研究

根據(jù)全球最大招聘搜索引擎Indeed 平臺公開發(fā)布的數(shù)據(jù)，電氣工程專業(yè)相關(guān)從業(yè)者年薪大致在九萬美金左右。如果從業(yè)者具有系統(tǒng)分析能力，擁有相關(guān)專業(yè)教育背景并獲得學(xué)位，以及專業(yè)資格證如注冊工程師PE，那么薪資將更加豐厚。

二、美國電子工程專業(yè)分支

通訊與網(wǎng)絡(luò)（Telecommunications and Network）

計(jì)算機(jī)工程（Computer Engineering）

信號處理（Signal Processing）

系統(tǒng)控制（Control Systems/Control）

電子學(xué)（Electronics）

集成電路 （Integrated Circuit）

光子學(xué)與光學(xué)（Optics and Photonics）

電力技術(shù) （Electric Power Technology）

微機(jī)電系統(tǒng)（Micro-Electro-Mechanical Systems）

電磁學(xué)（Electromagnetics）

三、美國電氣與電子工程專業(yè)排名 TOP30

1 麻省理工學(xué)院 Massachusetts Institute of Technology

2 斯坦福大學(xué) Stanford University

2 加州大學(xué)伯克利分校 University of California--Berkeley

4 加州理工學(xué)院 California Institute of Technology

4 伊利諾伊大學(xué)厄本那-香檳分校 University of Illinois--Urbana-Champaign

6 佐治亞理工學(xué)院 Georgia Institute of Technology

6 密歇根大學(xué)安娜堡分校 University of Michigan--Ann Arbor

8 卡耐基梅隆大學(xué) Carnegie Mellon University

9 康奈爾大學(xué) Cornell University

9 普林斯頓大學(xué) Princeton University

9 德克薩斯大學(xué)奧斯汀分校 University of Texas--Austin （Cockrell）

12 普渡大學(xué)西拉法葉分校 Purdue University--West Lafayette

13 哥倫比亞大學(xué) Columbia University （Fu Foundation）

13 加州大學(xué)洛杉磯分校 University of California--Los Angeles （Samueli）

13 加州大學(xué)圣地亞哥分校 University of California--San Diego （Jacobs）

16 馬里蘭大學(xué)學(xué)院公園分校 University of Maryland--College Park （Clark）

16 南加州大學(xué) University of Southern California （Viterbi）

16 威斯康辛大學(xué)麥迪遜分校 University of Wisconsin--Madison

19 約翰霍普金斯大學(xué) Johns Hopkins University （Whiting）

19 加州大學(xué)圣塔芭芭拉分校 University of California--Santa Barbara

19 華盛頓大學(xué) University of Washington

19 弗吉尼亞理工學(xué)院 Virginia Tech

23 杜克大學(xué) Duke University （Pratt）

23 哈佛大學(xué) Harvard University

23 西北大學(xué) Northwestern University （McCormick）

23 萊斯大學(xué) Rice University （Brown）

23 德州農(nóng)工大學(xué) Texas A&M University--College Station

23 明尼蘇達(dá)大學(xué)雙城分校 University of Minnesota--Twin Cities

23 賓夕法尼亞大學(xué) University of Pennsylvania

30 俄亥俄州立大學(xué) Ohio State University