姓名：七小分
年齡：23歲
電話：159****4849
郵箱：368804****@qq.com
經(jīng)驗：1年
意向：大數(shù)據(jù)工程師
時間：2011-09 - 2015-07
學校：腳步網(wǎng)大學 | 專業(yè)：計算機科學與技術 | 學歷：本科
工作時間：2010-03 - 2014-05
公司名稱：腳步網(wǎng)信息技術有限公司 | 所在部門：軟件與服務事業(yè)集團/數(shù)據(jù)解決方案事業(yè)部 | 所在崗位：高級軟件測試工程師
工作描述：
1）進行測試需求分析，制定測試計劃，合理分配測試資源；
2）設計開發(fā)測試用例，開發(fā)相關自動化測試框架及工具
3）負責產(chǎn)品集成測試（功能，性能，穩(wěn)定性），報告并追蹤產(chǎn)品問題，提供系統(tǒng)測試及驗收報告
4）與開發(fā)團隊緊密合作，分析系統(tǒng)性能瓶頸，提供優(yōu)化意見
5）優(yōu)化軟件質(zhì)量保證流程，提高效率及實用性
工作時間：2015-11 - 2017-09
公司名稱：腳步網(wǎng)人才咨詢有限公司 | 所在部門： | 所在崗位：大數(shù)據(jù)工程師
工作描述：
根據(jù)需求，負責相關大數(shù)據(jù)應用模塊設計；
參與大數(shù)據(jù)產(chǎn)品的數(shù)據(jù)分析、數(shù)據(jù)模型、功能設計及產(chǎn)品研發(fā)工作；
研究各種數(shù)據(jù)清洗，修復方法；
研究大數(shù)據(jù)有關的數(shù)據(jù)分析方法；
負責有關大數(shù)據(jù)分析產(chǎn)品的設計和開發(fā)。
項目時間：2016-09 - 2017-09
項目名稱：交互式實時數(shù)據(jù)分析平臺
項目描述：
項目介紹
項目名稱 : 交互式數(shù)據(jù)分析系統(tǒng)（準實時數(shù)據(jù)分析平臺）
技術架構(gòu) : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker
開發(fā)環(huán)境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)
項目描述 : 該系統(tǒng)是一個交互式用戶行為分析系統(tǒng)。系統(tǒng)的主要用戶為公司內(nèi)部的PM和運營人員，用戶根據(jù)自己的需求去
分析某一類客戶的流量數(shù)據(jù)。根據(jù)分析結(jié)果，PM可以優(yōu)化產(chǎn)品設計，運營人員可以為自己的運營工作提供數(shù)據(jù)
支持。用戶在系統(tǒng)界面中選擇某個分析功能對應的菜單，并進入對應的任務創(chuàng)建界面，然后選擇篩選條件和任務
參數(shù)，并提交任務。在接收到用戶提交的任務之后，根據(jù)任務類型選擇其對應的Spark作業(yè)，啟動一條子線
程來執(zhí)行Spark-submit命令以提交Spark作業(yè)。Spark作業(yè)運行在Yarn集群上，并針對Hdfs中的海量
數(shù)據(jù)使用SparkSQL進行計算，最終將計算結(jié)果寫入Hdfs中。另外還集成Flume，Kafka和Spark,
利用SparkStreaming，進行實時分析。用戶通過系統(tǒng)界面查看任務分析結(jié)果，將結(jié)果返回給界面進行展現(xiàn)。
項目職責 :負責項目的集群搭建部署，需求分析, 參與庫表的設計及代碼的編寫和測試優(yōu)化工作
開發(fā)步驟 : 數(shù)據(jù)收集階段：Flume采集供應商接口上的數(shù)據(jù),實現(xiàn)flume自定義攔截器,滿足業(yè)務需求。
Kafka拉取flume上的數(shù)據(jù)傳給sparkStreaming進行數(shù)據(jù)處理（實時ETL的程序），ETL處理的數(shù)據(jù)保存到Hdfs中。
數(shù)據(jù)處理階段：SparkCore處理Hdfs上的數(shù)據(jù)，通過RDD進行離線處理和Dstream準實時處理之后保存到Hdfs中。
數(shù)據(jù)展示階段：通過JDBC連接Hdfs處理好的數(shù)據(jù)，進行圖表展示。
功能模塊 : 用戶訪問會話（session）分析模塊，頁面跳出率統(tǒng)計分析模塊，
各區(qū)域熱門商品統(tǒng)計分析模塊，廣告點擊流量實時統(tǒng)計分析模塊
我的職責
項目時間：2014-11 - 2017-09
項目名稱：Intel新一代數(shù)據(jù)中心平臺的性能評測及調(diào)優(yōu)
項目描述：
項目介紹
Intel內(nèi)部合作項目 -- 對數(shù)據(jù)中心平臺新一代產(chǎn)品發(fā)布提供性能評測及調(diào)優(yōu)
我的職責
負責基于大數(shù)據(jù)測試基準(TPCx-BB，TPC-DS等)，對新一代數(shù)據(jù)中心平臺進行基本性能評估。
負責對新一代數(shù)據(jù)中心平臺進行性能調(diào)優(yōu)（涉及Hadoop, Java, OS, BIOS等幾個層面），充分挖掘系統(tǒng)軟硬件資源的能力。
撰寫內(nèi)部技術報告，提交給數(shù)據(jù)中心部門進行審核。
熟悉hadoop生態(tài)圈一些開源組件flume、sqoop、zookeeper等，熟悉Java，Linux，熟悉關
系型數(shù)據(jù)庫mysql、oracle，熟悉數(shù)據(jù)倉庫hive，會寫SQL語句，熟悉yarn工作原理及
mapreduce原理，了解hbase，spark，spark_rdd
性格開朗，為人細心，做事一絲不茍，能吃苦耐勞，工作腳踏實地，有較強的責任心，
具有團隊合作精神，又具有較強的獨立工作能力，思維活躍。
能夠安裝、部署、Hadoop2.x集群，熟悉Hadoop生態(tài)系統(tǒng)的相關產(chǎn)品，熟悉HDFS分布式文件系統(tǒng)，Sqoop數(shù)據(jù)庫ETL工具，F(xiàn)lume日志收集，MapReduce分布式計算框架，熟練掌握Sql/Hql的編寫，Zookeeper分布式協(xié)作，Yarn資源管理器，Hive數(shù)據(jù)倉庫，HBase實時協(xié)作數(shù)據(jù)庫，熟悉Spark內(nèi)存計算，熟悉MySQL/ORACLE數(shù)據(jù)庫安裝、管理、調(diào)優(yōu)、備份、容災、安全等技能一般,熟悉MapReduce編程。熟悉Linux操作系統(tǒng)，熟悉shell，熟練運用SecureCRT, Xshell，MyEclipse，F(xiàn)ileZilla Client等應用軟件。
