姓名：七小分
年齡：29歲
電話：137****3334
郵箱：513965****@qq.com
經(jīng)驗：7年
意向：大數(shù)據(jù)工程師
時間：2010-09 - 2014-07
學校：腳步網(wǎng)科技學院 | 專業(yè)：信息管理與信息系統(tǒng) | 學歷：本科
工作時間：2016-01 - 至今
公司名稱：腳步網(wǎng)信息技術有限公司 | 所在部門： | 所在崗位：大數(shù)據(jù)工程師
工作描述：
在分支任職大數(shù)據(jù)工程師，負責大數(shù)據(jù)產(chǎn)品項目組與咪咕音樂有限公司業(yè)務支撐中心部門項目開發(fā)及運維工作，主要負責工作內(nèi)容：1、負責業(yè)務支撐中心的一級VGOP、咪咕杭州研發(fā)中心對外供數(shù)的所有數(shù)據(jù)維護以及新增接口的開發(fā)、增、刪、修、調(diào)整字段類型等。
2、負責中央音樂平臺對外全國分省供數(shù)業(yè)務，涉及到的業(yè)務有咪咕彩鈴、鈴音盒、客戶端使用及發(fā)展、振鈴、全曲及各大話單的數(shù)據(jù)業(yè)務開發(fā)及運維、新增加接口數(shù)據(jù)各省份需求。
3、一級VGOP對外稽核數(shù)據(jù)采集并取至基地服務器，由各負責人獲取數(shù)據(jù)進行結(jié)算。
4、每月一級VGOP、中央音樂平臺對外分省供數(shù)月報數(shù)據(jù)出數(shù)運維維護工作保障月報能按時對外供數(shù)。
5、wap門戶小時數(shù)據(jù)的供數(shù)業(yè)務，對外供數(shù)給一級VGOP、咪咕杭研中心供數(shù)，CP月數(shù)據(jù)更新，VGOP號段更新業(yè)務數(shù)據(jù)等等。
6、主要用到的系統(tǒng)環(huán)境及開發(fā)，維護的工具有：Linux\Unix、AIX系統(tǒng)，Oracle 、PL/SQL,ETL運維工具、mysql數(shù)據(jù)庫，shell腳本編程，crontab定點服務、python編程工具,CRT工具、UE編輯器。
7、給wap門戶渠道做數(shù)據(jù)分析，并給出用戶消費情況做計量圖表，統(tǒng)計出用戶的消費偏好數(shù)據(jù)信息，進行跟進分析然后研發(fā)出新產(chǎn)品提供給各類消費偏好者推薦使用。
8、咪咕指數(shù)分析，由數(shù)據(jù)庫統(tǒng)計每個月的量收總額來做對比，進行數(shù)據(jù)分析及調(diào)整用戶潛在的消費意識數(shù)據(jù)，如；有些客戶端只是開通特級會員，特級會員功能有比較多的免費業(yè)務，還有贈送給其它客戶端需求數(shù)據(jù)，拿進行跟進分析，然而可以從特級會員客戶中挖掘潛在的客戶進行推薦，這樣就能咪咕消費指數(shù)業(yè)務增長。
2017年03月-開始負責搬遷老系統(tǒng)數(shù)據(jù)Oracle平臺的數(shù)據(jù)資料表調(diào)度數(shù)據(jù)源供數(shù)（對外供數(shù)模塊）到大數(shù)據(jù)平臺供數(shù)，其中分省供數(shù)模塊我用了半個月的時間把全國31個省份的接口全部重新開發(fā)完成，主要用到工具為hive、spark、python框架sql。
2017年7月出差到湖北移動做武漢經(jīng)分spark報表開發(fā)，展示在市場部一線應用平臺，主要用到的工具為移動的4A平臺，DAC平臺，多租戶模式開發(fā)，涉及保密協(xié)議范圍。
2017年8月做武漢移動業(yè)務支撐數(shù)據(jù)中心，遷移湖北渠道優(yōu)化模塊工作，程序開發(fā)數(shù)據(jù)質(zhì)量核對，完善老系統(tǒng)無法滿足的條件，主要用移動4A平臺、DACP平臺，Hadoop、HDFS、Map/Reduce、hive、spark工具開發(fā)。
工作時間：2017-07 - 至今
公司名稱：腳步網(wǎng)信息科技有限公司 | 所在部門： | 所在崗位：IT 助理工程師，大數(shù)據(jù)助理工程師
工作描述：
[產(chǎn)線大數(shù)據(jù)自動化 專案]
編寫生產(chǎn)線程式實現(xiàn)工業(yè)自動化，以及大數(shù)據(jù)化，并為生產(chǎn)線的運行提供技術支持。
通過對生產(chǎn)線上所有設備傳送到Kafka的數(shù)據(jù)進行實時監(jiān)聽，并依據(jù)不同標準對所有數(shù)據(jù)進行處理，定時反饋給Kafka。同時對異常數(shù)據(jù)進行累計判斷或者清零，對不同級別的異常拋送不同級別的警報到web service，以便送到相應的客戶端，發(fā)出提示以及警報。后續(xù)分別將處理過的數(shù)據(jù)通過Nifi 傳入MQTT和ElasticSearch。 本專案實作使用了loopback（strongloop），kafka，npm，ElasticSearch等大數(shù)據(jù)環(huán)境。使用VSCode編寫，在nodejs環(huán)境下執(zhí)行，編寫使用javascript，Node.js，Angular.js等。實作部署使用MQTT，Nifi，HeidiSql，Xampp，F(xiàn)ileZilla，Putty等。項目涉及MariaDB，maven，ZooKeeper，Spark，F(xiàn)link等大數(shù)據(jù)環(huán)境。
項目時間：2016-05 - 至今
項目名稱：游戲數(shù)據(jù)分析 | 項目工具：Spark+flume+kafka+zookeeper+redis
項目描述：
項目介紹
該項目是為游戲公司開發(fā)的運營分析平臺，數(shù)據(jù)由該游戲公司提供。通過使用Logstash從日志服務器中實時采集數(shù)據(jù)，下沉到kafka集群中，使用sparkstreaming對數(shù)據(jù)進行實時處理，獲取到一些需要實時展現(xiàn)的指標，比如，當前在線人數(shù)，當日新增玩家用戶,活躍玩家，玩家留存率，以及游戲習慣，實時充值金額，實時玩家區(qū)域分布等。將實時數(shù)據(jù)保存到redis中，并從redis中獲取數(shù)據(jù)到前臺展示
我的職責
1.參與了需求分析，架構(gòu)分析，編寫開發(fā)文檔。
2.參與了新增玩家用戶的分析及代碼實現(xiàn)。
3.參與了活躍玩家用戶的分析及代碼實現(xiàn)。
4.參與了玩家留存率的分析及代碼的實現(xiàn)。
5.參與了玩家流失率的分析。
6.優(yōu)化代碼以及對后期代碼的測試。
項目時間：2016-09 - 至今
項目名稱：交互式實時數(shù)據(jù)分析平臺
項目描述：
項目介紹
項目名稱 : 交互式數(shù)據(jù)分析系統(tǒng)（準實時數(shù)據(jù)分析平臺）
技術架構(gòu) : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker
開發(fā)環(huán)境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)
項目描述 : 該系統(tǒng)是一個交互式用戶行為分析系統(tǒng)。系統(tǒng)的主要用戶為公司內(nèi)部的PM和運營人員，用戶根據(jù)自己的需求去
分析某一類客戶的流量數(shù)據(jù)。根據(jù)分析結(jié)果，PM可以優(yōu)化產(chǎn)品設計，運營人員可以為自己的運營工作提供數(shù)據(jù)
支持。用戶在系統(tǒng)界面中選擇某個分析功能對應的菜單，并進入對應的任務創(chuàng)建界面，然后選擇篩選條件和任務
參數(shù)，并提交任務。在接收到用戶提交的任務之后，根據(jù)任務類型選擇其對應的Spark作業(yè)，啟動一條子線
程來執(zhí)行Spark-submit命令以提交Spark作業(yè)。Spark作業(yè)運行在Yarn集群上，并針對Hdfs中的海量
數(shù)據(jù)使用SparkSQL進行計算，最終將計算結(jié)果寫入Hdfs中。另外還集成Flume，Kafka和Spark,
利用SparkStreaming，進行實時分析。用戶通過系統(tǒng)界面查看任務分析結(jié)果，將結(jié)果返回給界面進行展現(xiàn)。
項目職責 :負責項目的集群搭建部署，需求分析, 參與庫表的設計及代碼的編寫和測試優(yōu)化工作
開發(fā)步驟 : 數(shù)據(jù)收集階段：Flume采集供應商接口上的數(shù)據(jù),實現(xiàn)flume自定義攔截器,滿足業(yè)務需求。
Kafka拉取flume上的數(shù)據(jù)傳給sparkStreaming進行數(shù)據(jù)處理（實時ETL的程序），ETL處理的數(shù)據(jù)保存到Hdfs中。
數(shù)據(jù)處理階段：SparkCore處理Hdfs上的數(shù)據(jù)，通過RDD進行離線處理和Dstream準實時處理之后保存到Hdfs中。
數(shù)據(jù)展示階段：通過JDBC連接Hdfs處理好的數(shù)據(jù)，進行圖表展示。
功能模塊 : 用戶訪問會話（session）分析模塊，頁面跳出率統(tǒng)計分析模塊，
各區(qū)域熱門商品統(tǒng)計分析模塊，廣告點擊流量實時統(tǒng)計分析模塊
我的職責
5年的大數(shù)據(jù)軟件質(zhì)量保證和性能調(diào)優(yōu)從業(yè)經(jīng)驗；
熟悉Hadoop，Hive, Spark等大數(shù)據(jù)組件的基本運維及調(diào)優(yōu)；
熟悉大數(shù)據(jù)測試基準（TPCx-BB， TPC-DS等），具有企業(yè)級云平臺(AWS, AliCloud)的性能瓶頸分析及調(diào)優(yōu)實戰(zhàn)經(jīng)驗；
擅長使用自動化工具進行系統(tǒng)性能/功能測試及系統(tǒng)分析；
熟悉Linux及腳本語言，具有自動化測試工具開發(fā)經(jīng)驗；
8年以上軟件測試經(jīng)驗，熟悉軟件測試流程，具有一定的測試管理經(jīng)驗；
對機器學習、深度學習領域有所涉獵。
1．能搭使用Hive和HBase的系統(tǒng)架構(gòu)，和能用Hive進行海量數(shù)據(jù)的統(tǒng)計分析以及，能根據(jù)需求設計HBase表，能對Hive、HBase進行搭建Hadoop的系統(tǒng)架構(gòu)和Hadoop集群。 2.能使用開源日志收集框架flume，Kafka消息隊列。 3.能夠使用Python2.7的版本，進行編程部署， 實現(xiàn)MapReducer框架，解決離線分析的場景和作業(yè)。 4.能夠使用java,Scala進行項目的開發(fā)，能夠?qū)崿F(xiàn)Spark框架的研發(fā)作業(yè)。 5.能使用SparkStreaming進行實時數(shù)據(jù)的分析。 6.能使用MapReduce的原理和流程和其API開發(fā)應用程序 7．能使用Storm的原理和流程和使用API開發(fā)應用程序，以及Storm+Kafka實時流處理架構(gòu) 8.清楚spark任務提交流程，對spark作業(yè)能進行調(diào)優(yōu) 9.能操作MySQL、Oracle數(shù)據(jù)庫 10.能使用Python進行網(wǎng)頁爬蟲，和Python與MySQL的交互
