久久久99精品免费观看_欧美日本国产_久久精品无码一区二区日韩av_久久久亚洲精品蜜桃臀 欧美日韩午夜群交多人轮换_99精品免视看_97亚洲熟妇自偷自拍另类图片_少妇粉嫩小泬白浆流出

大數(shù)據(jù)開(kāi)發(fā)工程師簡(jiǎn)歷項(xiàng)目經(jīng)驗(yàn)填寫(xiě)樣本

來(lái)自:腳步網(wǎng)2022-10-19

項(xiàng)目經(jīng)驗(yàn)(案例一)

項(xiàng)目時(shí)間:2014-06 - 2014-12

項(xiàng)目名稱(chēng):以風(fēng)險(xiǎn)為導(dǎo)向的審計(jì)軟件

項(xiàng)目描述:
項(xiàng)目介紹
以風(fēng)險(xiǎn)為導(dǎo)向的審計(jì)軟件,是借鑒國(guó)外審計(jì)軟件的設(shè)計(jì)理念,融入了辯證法的觀念,開(kāi)創(chuàng)了國(guó)年首家產(chǎn)品成果,得到中注協(xié)及多家會(huì)計(jì)事務(wù)所的一致好評(píng),也是唯一一家與用用友審計(jì)軟件競(jìng)爭(zhēng)的產(chǎn)品,主要界面是審計(jì)流程框架開(kāi)發(fā)(包括流程作業(yè)步驟,問(wèn)題回答,關(guān)鍵操作,審計(jì)程序,審計(jì)底稿列示)
主要功能菜單:項(xiàng)目管理(增加,刪除,修改,備份,恢復(fù)),系統(tǒng)配置,手機(jī)拍照,財(cái)務(wù)數(shù)據(jù)(數(shù)據(jù)導(dǎo)入,數(shù)據(jù)初始化,財(cái)務(wù)數(shù)據(jù)維護(hù),總賬預(yù)覽,核算總賬明細(xì)賬預(yù)覽),審計(jì)調(diào)整(負(fù)值重分類(lèi)調(diào)整,期初賬表調(diào)整,期末賬表調(diào)整,期初審計(jì)調(diào)整,期末審計(jì)調(diào)整,調(diào)整分錄導(dǎo)出,調(diào)整分錄導(dǎo)入),底稿管理(底稿信息維護(hù),底稿簽名,底稿導(dǎo)入,底稿導(dǎo)出,底稿歸檔),在線幫助等模塊
我的職責(zé)
開(kāi)發(fā)壞境win7,vs2008,Mysql,使用技術(shù)基于Mfc框架開(kāi)發(fā)

項(xiàng)目經(jīng)驗(yàn)(案例二)

項(xiàng)目時(shí)間:2016-04 - 2016-12

項(xiàng)目名稱(chēng):中國(guó)人壽大數(shù)據(jù)平臺(tái)建設(shè) | 項(xiàng)目工具:rehat平臺(tái),集群規(guī)模50臺(tái),數(shù)據(jù)量28T

項(xiàng)目描述:
項(xiàng)目介紹
此項(xiàng)目是把多個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)統(tǒng)一加工處理,然后再服務(wù)于國(guó)壽各個(gè)平臺(tái),項(xiàng)目大概分為下面幾個(gè)部分,數(shù)據(jù)以sqoop或者其他ETL工具從增量庫(kù)生產(chǎn)Gz文件,然后通過(guò)調(diào)度平臺(tái)把數(shù)據(jù)放入到Hbase中,然后通過(guò)oozie調(diào)用Mapreduce,spark批處理,HiveSql,sqoop等定時(shí)執(zhí)行任務(wù)對(duì)數(shù)據(jù)進(jìn)行加工,并把處理好的數(shù)據(jù)放到Hbase表中或Hive內(nèi)部表中,通過(guò)WebService接口執(zhí)行ImpalaSql把平臺(tái)數(shù)據(jù)提供給各個(gè)子系統(tǒng)。
我的職責(zé)
1.負(fù)責(zé)指定業(yè)務(wù)模塊的Mapreduce編寫(xiě)
2.mapreduce運(yùn)行效率優(yōu)化,HbaseAPI編程接口優(yōu)化,
3.平臺(tái)運(yùn)行過(guò)程中基本問(wèn)題的處理,調(diào)度平臺(tái)任務(wù)效率優(yōu)化,
4.Spark離線處理業(yè)務(wù)邏輯指標(biāo)計(jì)算,
5.spark-streaming 從kafka中讀取流數(shù)據(jù)處理加工并放回hbase中等

項(xiàng)目經(jīng)驗(yàn)(案例三)

項(xiàng)目時(shí)間:2016-06 - 2017-05

項(xiàng)目名稱(chēng):運(yùn)營(yíng)日志分析系統(tǒng) | 項(xiàng)目工具:Linux、hadoop-2.6.0-cdh5.5.2、sqoop-1.4.6-cdh3u5、hive-1.2.1-cdh3u5、zookeeper-3.4.5-cdh3u5、 Hbase-1.0.0-cdh3u5、mysql、spark-1.3.0-cdh5.5.2、Jdk1.7.0等。

項(xiàng)目描述:
項(xiàng)目介紹
我們公司擁有多款游戲,每天會(huì)產(chǎn)生大量的數(shù)據(jù),但是這些數(shù)據(jù)是分散在不同機(jī)器中,管理這些數(shù)據(jù)非常困難。為了保證數(shù)據(jù)存儲(chǔ)的高效、安全和完整,我們需要一個(gè)統(tǒng)一的大數(shù)據(jù)平臺(tái)來(lái)存儲(chǔ)和管理數(shù)據(jù);其次,我們需要針對(duì)每天生產(chǎn)的數(shù)據(jù)進(jìn)行分析和統(tǒng)計(jì),例如DAU、DNU、留存、流失、付費(fèi)喜好或是渠道排查等等;第三,我們需要一個(gè)靈活可配置的集群環(huán)境,根據(jù)實(shí)時(shí)的業(yè)務(wù)需求,改變集群的硬件環(huán)境。因此我們選擇了Hadoop架構(gòu)來(lái)搭建自己的大數(shù)據(jù)平臺(tái)。
我們收集到的大量數(shù)據(jù),有兩方面的信息:一是事件信息,記錄發(fā)生過(guò)的事件:用戶(hù)A在某個(gè)時(shí)刻登錄了一次;用戶(hù)B在另一個(gè)時(shí)刻進(jìn)行了一次購(gòu)買(mǎi),等等。這種事件信息占了系統(tǒng)所存儲(chǔ)信息的大部分,而且絕大部分是不斷新增的數(shù)據(jù)。除事件信息外,還有用戶(hù)的屬性信息,比如用戶(hù)A首次充值的時(shí)間為2013年1月1日,等等。
我們通過(guò)分布式hadoop集群處理logstash獲取的玩家游戲行為信息,使用mapreduce對(duì)數(shù)據(jù)進(jìn)行過(guò)濾清洗后重新存儲(chǔ)到HDFS上,使用hive和spark對(duì)數(shù)據(jù)進(jìn)行分析,從數(shù)據(jù)反應(yīng)的各項(xiàng)趨勢(shì)了解游戲的運(yùn)行現(xiàn)狀,并把分析結(jié)果導(dǎo)入到mysql和redis進(jìn)行統(tǒng)一管理。
我的職責(zé)
1.通過(guò)logstash抽取日志服務(wù)器上的日志文件和緩存數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)入到HDFS。
2.通過(guò)mapreduce對(duì)數(shù)據(jù)做一個(gè)MR清洗,清洗出有效字段。
3.將清洗后的數(shù)據(jù)導(dǎo)入hive進(jìn)行分析,利用sqoop將hive分析統(tǒng)計(jì)后的結(jié)果導(dǎo)出到mysql中保存。
4.通過(guò)spark對(duì)事件日志進(jìn)行統(tǒng)計(jì)分析,利用jdbc把分析結(jié)果寫(xiě)入到mysql。
5.使用HBase進(jìn)行處理后數(shù)據(jù)的存儲(chǔ)。
6.對(duì)mapreduce,hive等進(jìn)行調(diào)優(yōu),對(duì)Hql語(yǔ)句進(jìn)行編寫(xiě)調(diào)優(yōu)。
5.日常數(shù)據(jù)的管理及維護(hù)。

項(xiàng)目經(jīng)驗(yàn)(案例四)

項(xiàng)目時(shí)間:2015-12 - 2016-06

項(xiàng)目名稱(chēng):優(yōu)購(gòu)平臺(tái)用戶(hù)行為分析

項(xiàng)目描述:
項(xiàng)目介紹
該項(xiàng)目為優(yōu)購(gòu)平臺(tái)用戶(hù)行為分析項(xiàng)目,該項(xiàng)目旨在通過(guò)Logstash獲取用戶(hù)海量購(gòu)物瀏覽消費(fèi)數(shù)據(jù),經(jīng)kafka中轉(zhuǎn),再獲取到Spark中對(duì)數(shù)據(jù)進(jìn)行分析處理;分析統(tǒng)計(jì)頁(yè)面跳轉(zhuǎn)率、每日成交量、用戶(hù)來(lái)源每日用戶(hù)訪問(wèn)來(lái)源排名、每日新增用戶(hù)數(shù)、每日商品銷(xiāo)量Top10、實(shí)時(shí)成交額、實(shí)時(shí)黑名單等指標(biāo);再將結(jié)果數(shù)據(jù)用圖表展示出來(lái),為企業(yè)科學(xué)決策提供依據(jù);圖表可以直觀展示和分析購(gòu)物平臺(tái)運(yùn)營(yíng)狀況,可根據(jù)海量用戶(hù)行為做合適的營(yíng)銷(xiāo)策略調(diào)整,提升活躍用戶(hù)數(shù),促進(jìn)優(yōu)購(gòu)物網(wǎng)站發(fā)展。
我的職責(zé)
1.搭建Hadoop,Spark,Hive,Zookeeper集群
2.數(shù)據(jù)的清洗和簡(jiǎn)單處理
3.分析處理每日用戶(hù)訪問(wèn)來(lái)源排名、每日新增用戶(hù)數(shù)、頁(yè)面跳轉(zhuǎn)率、每日商品銷(xiāo)量Top10離線指標(biāo),實(shí)時(shí)成交額、實(shí)時(shí)黑名單等指標(biāo)
4.hql語(yǔ)句的優(yōu)化

評(píng)論插件

簡(jiǎn)歷下載 Copyright@www.cengfengjixie.cn在線簡(jiǎn)歷制作 all rights reserved

西安聚訊網(wǎng)絡(luò)科技有限公司 版權(quán)所有 2012-2018 腳步網(wǎng)

聯(lián)系我們 關(guān)于我們 常見(jiàn)問(wèn)題