久久久99精品免费观看_欧美日本国产_久久精品无码一区二区日韩av_久久久亚洲精品蜜桃臀 欧美日韩午夜群交多人轮换_99精品免视看_97亚洲熟妇自偷自拍另类图片_少妇粉嫩小泬白浆流出

大數(shù)據(jù)工程師找工作簡歷樣本

來自:腳步網(wǎng)2022-10-19

基本信息

姓名:七小分

年齡:29歲

電話:137****3334

郵箱:513965****@qq.com

經(jīng)驗:7年

意向:大數(shù)據(jù)工程師

教育背景

時間:2010-09 - 2014-07

學校:腳步網(wǎng)科技學院 | 專業(yè):信息管理與信息系統(tǒng) | 學歷:本科

工作經(jīng)歷

工作時間:2016-01 - 至今

公司名稱:腳步網(wǎng)信息技術有限公司 | 所在部門: | 所在崗位:大數(shù)據(jù)工程師

工作描述:
在分支任職大數(shù)據(jù)工程師,負責大數(shù)據(jù)產(chǎn)品項目組與咪咕音樂有限公司業(yè)務支撐中心部門項目開發(fā)及運維工作,主要負責工作內(nèi)容:1、負責業(yè)務支撐中心的一級VGOP、咪咕杭州研發(fā)中心對外供數(shù)的所有數(shù)據(jù)維護以及新增接口的開發(fā)、增、刪、修、調(diào)整字段類型等。
2、負責中央音樂平臺對外全國分省供數(shù)業(yè)務,涉及到的業(yè)務有咪咕彩鈴、鈴音盒、客戶端使用及發(fā)展、振鈴、全曲及各大話單的數(shù)據(jù)業(yè)務開發(fā)及運維、新增加接口數(shù)據(jù)各省份需求。
3、一級VGOP對外稽核數(shù)據(jù)采集并取至基地服務器,由各負責人獲取數(shù)據(jù)進行結(jié)算。
4、每月一級VGOP、中央音樂平臺對外分省供數(shù)月報數(shù)據(jù)出數(shù)運維維護工作保障月報能按時對外供數(shù)。
5、wap門戶小時數(shù)據(jù)的供數(shù)業(yè)務,對外供數(shù)給一級VGOP、咪咕杭研中心供數(shù),CP月數(shù)據(jù)更新,VGOP號段更新業(yè)務數(shù)據(jù)等等。
6、主要用到的系統(tǒng)環(huán)境及開發(fā),維護的工具有:Linux\Unix、AIX系統(tǒng),Oracle 、PL/SQL,ETL運維工具、mysql數(shù)據(jù)庫,shell腳本編程,crontab定點服務、python編程工具,CRT工具、UE編輯器。
7、給wap門戶渠道做數(shù)據(jù)分析,并給出用戶消費情況做計量圖表,統(tǒng)計出用戶的消費偏好數(shù)據(jù)信息,進行跟進分析然后研發(fā)出新產(chǎn)品提供給各類消費偏好者推薦使用。
8、咪咕指數(shù)分析,由數(shù)據(jù)庫統(tǒng)計每個月的量收總額來做對比,進行數(shù)據(jù)分析及調(diào)整用戶潛在的消費意識數(shù)據(jù),如;有些客戶端只是開通特級會員,特級會員功能有比較多的免費業(yè)務,還有贈送給其它客戶端需求數(shù)據(jù),拿進行跟進分析,然而可以從特級會員客戶中挖掘潛在的客戶進行推薦,這樣就能咪咕消費指數(shù)業(yè)務增長。
2017年03月-開始負責搬遷老系統(tǒng)數(shù)據(jù)Oracle平臺的數(shù)據(jù)資料表調(diào)度數(shù)據(jù)源供數(shù)(對外供數(shù)模塊)到大數(shù)據(jù)平臺供數(shù),其中分省供數(shù)模塊我用了半個月的時間把全國31個省份的接口全部重新開發(fā)完成,主要用到工具為hive、spark、python框架sql。
2017年7月出差到湖北移動做武漢經(jīng)分spark報表開發(fā),展示在市場部一線應用平臺,主要用到的工具為移動的4A平臺,DAC平臺,多租戶模式開發(fā),涉及保密協(xié)議范圍。
2017年8月做武漢移動業(yè)務支撐數(shù)據(jù)中心,遷移湖北渠道優(yōu)化模塊工作,程序開發(fā)數(shù)據(jù)質(zhì)量核對,完善老系統(tǒng)無法滿足的條件,主要用移動4A平臺、DACP平臺,Hadoop、HDFS、Map/Reduce、hive、spark工具開發(fā)。

工作時間:2017-07 - 至今

公司名稱:腳步網(wǎng)信息科技有限公司 | 所在部門: | 所在崗位:IT 助理工程師,大數(shù)據(jù)助理工程師

工作描述:
[產(chǎn)線大數(shù)據(jù)自動化 專案]
編寫生產(chǎn)線程式實現(xiàn)工業(yè)自動化,以及大數(shù)據(jù)化,并為生產(chǎn)線的運行提供技術支持。
通過對生產(chǎn)線上所有設備傳送到Kafka的數(shù)據(jù)進行實時監(jiān)聽,并依據(jù)不同標準對所有數(shù)據(jù)進行處理,定時反饋給Kafka。同時對異常數(shù)據(jù)進行累計判斷或者清零,對不同級別的異常拋送不同級別的警報到web service,以便送到相應的客戶端,發(fā)出提示以及警報。后續(xù)分別將處理過的數(shù)據(jù)通過Nifi 傳入MQTT和ElasticSearch。 本專案實作使用了loopback(strongloop),kafka,npm,ElasticSearch等大數(shù)據(jù)環(huán)境。使用VSCode編寫,在nodejs環(huán)境下執(zhí)行,編寫使用javascript,Node.js,Angular.js等。實作部署使用MQTT,Nifi,HeidiSql,Xampp,F(xiàn)ileZilla,Putty等。項目涉及MariaDB,maven,ZooKeeper,Spark,F(xiàn)link等大數(shù)據(jù)環(huán)境。

項目經(jīng)歷

項目時間:2016-05 - 至今

項目名稱:游戲數(shù)據(jù)分析 | 項目工具:Spark+flume+kafka+zookeeper+redis

項目描述:
項目介紹
該項目是為游戲公司開發(fā)的運營分析平臺,數(shù)據(jù)由該游戲公司提供。通過使用Logstash從日志服務器中實時采集數(shù)據(jù),下沉到kafka集群中,使用sparkstreaming對數(shù)據(jù)進行實時處理,獲取到一些需要實時展現(xiàn)的指標,比如,當前在線人數(shù),當日新增玩家用戶,活躍玩家,玩家留存率,以及游戲習慣,實時充值金額,實時玩家區(qū)域分布等。將實時數(shù)據(jù)保存到redis中,并從redis中獲取數(shù)據(jù)到前臺展示
我的職責
1.參與了需求分析,架構(gòu)分析,編寫開發(fā)文檔。
2.參與了新增玩家用戶的分析及代碼實現(xiàn)。
3.參與了活躍玩家用戶的分析及代碼實現(xiàn)。
4.參與了玩家留存率的分析及代碼的實現(xiàn)。
5.參與了玩家流失率的分析。
6.優(yōu)化代碼以及對后期代碼的測試。

項目時間:2016-09 - 至今

項目名稱:交互式實時數(shù)據(jù)分析平臺

項目描述:
項目介紹
項目名稱 : 交互式數(shù)據(jù)分析系統(tǒng)(準實時數(shù)據(jù)分析平臺)
技術架構(gòu) : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker
開發(fā)環(huán)境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)
項目描述 : 該系統(tǒng)是一個交互式用戶行為分析系統(tǒng)。系統(tǒng)的主要用戶為公司內(nèi)部的PM和運營人員,用戶根據(jù)自己的需求去
分析某一類客戶的流量數(shù)據(jù)。根據(jù)分析結(jié)果,PM可以優(yōu)化產(chǎn)品設計,運營人員可以為自己的運營工作提供數(shù)據(jù)
支持。用戶在系統(tǒng)界面中選擇某個分析功能對應的菜單,并進入對應的任務創(chuàng)建界面,然后選擇篩選條件和任務
參數(shù),并提交任務。在接收到用戶提交的任務之后,根據(jù)任務類型選擇其對應的Spark作業(yè),啟動一條子線
程來執(zhí)行Spark-submit命令以提交Spark作業(yè)。Spark作業(yè)運行在Yarn集群上,并針對Hdfs中的海量
數(shù)據(jù)使用SparkSQL進行計算,最終將計算結(jié)果寫入Hdfs中。另外還集成Flume,Kafka和Spark,
利用SparkStreaming,進行實時分析。用戶通過系統(tǒng)界面查看任務分析結(jié)果,將結(jié)果返回給界面進行展現(xiàn)。
項目職責 :負責項目的集群搭建部署,需求分析, 參與庫表的設計及代碼的編寫和測試優(yōu)化工作
開發(fā)步驟 : 數(shù)據(jù)收集階段:Flume采集供應商接口上的數(shù)據(jù),實現(xiàn)flume自定義攔截器,滿足業(yè)務需求。
Kafka拉取flume上的數(shù)據(jù)傳給sparkStreaming進行數(shù)據(jù)處理(實時ETL的程序),ETL處理的數(shù)據(jù)保存到Hdfs中。
數(shù)據(jù)處理階段:SparkCore處理Hdfs上的數(shù)據(jù),通過RDD進行離線處理和Dstream準實時處理之后保存到Hdfs中。
數(shù)據(jù)展示階段:通過JDBC連接Hdfs處理好的數(shù)據(jù),進行圖表展示。
功能模塊 : 用戶訪問會話(session)分析模塊,頁面跳出率統(tǒng)計分析模塊,
各區(qū)域熱門商品統(tǒng)計分析模塊,廣告點擊流量實時統(tǒng)計分析模塊
我的職責

個人評價

5年的大數(shù)據(jù)軟件質(zhì)量保證和性能調(diào)優(yōu)從業(yè)經(jīng)驗;
熟悉Hadoop,Hive, Spark等大數(shù)據(jù)組件的基本運維及調(diào)優(yōu);
熟悉大數(shù)據(jù)測試基準(TPCx-BB, TPC-DS等),具有企業(yè)級云平臺(AWS, AliCloud)的性能瓶頸分析及調(diào)優(yōu)實戰(zhàn)經(jīng)驗;
擅長使用自動化工具進行系統(tǒng)性能/功能測試及系統(tǒng)分析;
熟悉Linux及腳本語言,具有自動化測試工具開發(fā)經(jīng)驗;
8年以上軟件測試經(jīng)驗,熟悉軟件測試流程,具有一定的測試管理經(jīng)驗;
對機器學習、深度學習領域有所涉獵。

個人技能

1.能搭使用Hive和HBase的系統(tǒng)架構(gòu),和能用Hive進行海量數(shù)據(jù)的統(tǒng)計分析以及,能根據(jù)需求設計HBase表,能對Hive、HBase進行搭建Hadoop的系統(tǒng)架構(gòu)和Hadoop集群。 2.能使用開源日志收集框架flume,Kafka消息隊列。 3.能夠使用Python2.7的版本,進行編程部署, 實現(xiàn)MapReducer框架,解決離線分析的場景和作業(yè)。 4.能夠使用java,Scala進行項目的開發(fā),能夠?qū)崿F(xiàn)Spark框架的研發(fā)作業(yè)。 5.能使用SparkStreaming進行實時數(shù)據(jù)的分析。 6.能使用MapReduce的原理和流程和其API開發(fā)應用程序 7.能使用Storm的原理和流程和使用API開發(fā)應用程序,以及Storm+Kafka實時流處理架構(gòu) 8.清楚spark任務提交流程,對spark作業(yè)能進行調(diào)優(yōu) 9.能操作MySQL、Oracle數(shù)據(jù)庫 10.能使用Python進行網(wǎng)頁爬蟲,和Python與MySQL的交互

評論插件

簡歷下載 Copyright@www.cengfengjixie.cn在線簡歷制作 all rights reserved

西安聚訊網(wǎng)絡科技有限公司 版權(quán)所有 2012-2018 腳步網(wǎng)

聯(lián)系我們 關于我們 常見問題