項(xiàng)目時(shí)間：2014-06 - 2014-12
項(xiàng)目名稱(chēng)：以風(fēng)險(xiǎn)為導(dǎo)向的審計(jì)軟件
項(xiàng)目描述：
項(xiàng)目介紹
以風(fēng)險(xiǎn)為導(dǎo)向的審計(jì)軟件，是借鑒國(guó)外審計(jì)軟件的設(shè)計(jì)理念，融入了辯證法的觀念，開(kāi)創(chuàng)了國(guó)年首家產(chǎn)品成果，得到中注協(xié)及多家會(huì)計(jì)事務(wù)所的一致好評(píng)，也是唯一一家與用用友審計(jì)軟件競(jìng)爭(zhēng)的產(chǎn)品，主要界面是審計(jì)流程框架開(kāi)發(fā)（包括流程作業(yè)步驟，問(wèn)題回答，關(guān)鍵操作，審計(jì)程序，審計(jì)底稿列示）
主要功能菜單：項(xiàng)目管理（增加，刪除，修改，備份，恢復(fù)），系統(tǒng)配置，手機(jī)拍照，財(cái)務(wù)數(shù)據(jù)（數(shù)據(jù)導(dǎo)入，數(shù)據(jù)初始化，財(cái)務(wù)數(shù)據(jù)維護(hù)，總賬預(yù)覽，核算總賬明細(xì)賬預(yù)覽），審計(jì)調(diào)整(負(fù)值重分類(lèi)調(diào)整，期初賬表調(diào)整，期末賬表調(diào)整，期初審計(jì)調(diào)整，期末審計(jì)調(diào)整，調(diào)整分錄導(dǎo)出，調(diào)整分錄導(dǎo)入)，底稿管理(底稿信息維護(hù)，底稿簽名，底稿導(dǎo)入，底稿導(dǎo)出，底稿歸檔)，在線幫助等模塊
我的職責(zé)
開(kāi)發(fā)壞境win7，vs2008，Mysql，使用技術(shù)基于Mfc框架開(kāi)發(fā)
項(xiàng)目時(shí)間：2016-04 - 2016-12
項(xiàng)目名稱(chēng)：中國(guó)人壽大數(shù)據(jù)平臺(tái)建設(shè) | 項(xiàng)目工具：rehat平臺(tái)，集群規(guī)模50臺(tái)，數(shù)據(jù)量28T
項(xiàng)目描述：
項(xiàng)目介紹
此項(xiàng)目是把多個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)統(tǒng)一加工處理，然后再服務(wù)于國(guó)壽各個(gè)平臺(tái)，項(xiàng)目大概分為下面幾個(gè)部分，數(shù)據(jù)以sqoop或者其他ETL工具從增量庫(kù)生產(chǎn)Gz文件，然后通過(guò)調(diào)度平臺(tái)把數(shù)據(jù)放入到Hbase中，然后通過(guò)oozie調(diào)用Mapreduce,spark批處理,HiveSql，sqoop等定時(shí)執(zhí)行任務(wù)對(duì)數(shù)據(jù)進(jìn)行加工，并把處理好的數(shù)據(jù)放到Hbase表中或Hive內(nèi)部表中，通過(guò)WebService接口執(zhí)行ImpalaSql把平臺(tái)數(shù)據(jù)提供給各個(gè)子系統(tǒng)。
我的職責(zé)
1.負(fù)責(zé)指定業(yè)務(wù)模塊的Mapreduce編寫(xiě)
2.mapreduce運(yùn)行效率優(yōu)化，HbaseAPI編程接口優(yōu)化，
3.平臺(tái)運(yùn)行過(guò)程中基本問(wèn)題的處理，調(diào)度平臺(tái)任務(wù)效率優(yōu)化，
4.Spark離線處理業(yè)務(wù)邏輯指標(biāo)計(jì)算，
5.spark-streaming 從kafka中讀取流數(shù)據(jù)處理加工并放回hbase中等
項(xiàng)目時(shí)間：2016-06 - 2017-05
項(xiàng)目名稱(chēng)：運(yùn)營(yíng)日志分析系統(tǒng) | 項(xiàng)目工具：Linux、hadoop-2.6.0-cdh5.5.2、sqoop-1.4.6-cdh3u5、hive-1.2.1-cdh3u5、zookeeper-3.4.5-cdh3u5、 Hbase-1.0.0-cdh3u5、mysql、spark-1.3.0-cdh5.5.2、Jdk1.7.0等。
項(xiàng)目描述：
項(xiàng)目介紹
我們公司擁有多款游戲，每天會(huì)產(chǎn)生大量的數(shù)據(jù)，但是這些數(shù)據(jù)是分散在不同機(jī)器中，管理這些數(shù)據(jù)非常困難。為了保證數(shù)據(jù)存儲(chǔ)的高效、安全和完整，我們需要一個(gè)統(tǒng)一的大數(shù)據(jù)平臺(tái)來(lái)存儲(chǔ)和管理數(shù)據(jù)；其次，我們需要針對(duì)每天生產(chǎn)的數(shù)據(jù)進(jìn)行分析和統(tǒng)計(jì)，例如DAU、DNU、留存、流失、付費(fèi)喜好或是渠道排查等等；第三，我們需要一個(gè)靈活可配置的集群環(huán)境，根據(jù)實(shí)時(shí)的業(yè)務(wù)需求，改變集群的硬件環(huán)境。因此我們選擇了Hadoop架構(gòu)來(lái)搭建自己的大數(shù)據(jù)平臺(tái)。
我們收集到的大量數(shù)據(jù)，有兩方面的信息：一是事件信息，記錄發(fā)生過(guò)的事件：用戶(hù)A在某個(gè)時(shí)刻登錄了一次；用戶(hù)B在另一個(gè)時(shí)刻進(jìn)行了一次購(gòu)買(mǎi)，等等。這種事件信息占了系統(tǒng)所存儲(chǔ)信息的大部分，而且絕大部分是不斷新增的數(shù)據(jù)。除事件信息外，還有用戶(hù)的屬性信息，比如用戶(hù)A首次充值的時(shí)間為2013年1月1日，等等。
我們通過(guò)分布式hadoop集群處理logstash獲取的玩家游戲行為信息,使用mapreduce對(duì)數(shù)據(jù)進(jìn)行過(guò)濾清洗后重新存儲(chǔ)到HDFS上，使用hive和spark對(duì)數(shù)據(jù)進(jìn)行分析，從數(shù)據(jù)反應(yīng)的各項(xiàng)趨勢(shì)了解游戲的運(yùn)行現(xiàn)狀，并把分析結(jié)果導(dǎo)入到mysql和redis進(jìn)行統(tǒng)一管理。
我的職責(zé)
1.通過(guò)logstash抽取日志服務(wù)器上的日志文件和緩存數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)入到HDFS。
2.通過(guò)mapreduce對(duì)數(shù)據(jù)做一個(gè)MR清洗，清洗出有效字段。
3.將清洗后的數(shù)據(jù)導(dǎo)入hive進(jìn)行分析，利用sqoop將hive分析統(tǒng)計(jì)后的結(jié)果導(dǎo)出到mysql中保存。
4.通過(guò)spark對(duì)事件日志進(jìn)行統(tǒng)計(jì)分析，利用jdbc把分析結(jié)果寫(xiě)入到mysql。
5.使用HBase進(jìn)行處理后數(shù)據(jù)的存儲(chǔ)。
6.對(duì)mapreduce，hive等進(jìn)行調(diào)優(yōu)，對(duì)Hql語(yǔ)句進(jìn)行編寫(xiě)調(diào)優(yōu)。
5.日常數(shù)據(jù)的管理及維護(hù)。
項(xiàng)目時(shí)間：2015-12 - 2016-06
項(xiàng)目名稱(chēng)：優(yōu)購(gòu)平臺(tái)用戶(hù)行為分析
項(xiàng)目描述：
項(xiàng)目介紹
該項(xiàng)目為優(yōu)購(gòu)平臺(tái)用戶(hù)行為分析項(xiàng)目，該項(xiàng)目旨在通過(guò)Logstash獲取用戶(hù)海量購(gòu)物瀏覽消費(fèi)數(shù)據(jù)，經(jīng)kafka中轉(zhuǎn)，再獲取到Spark中對(duì)數(shù)據(jù)進(jìn)行分析處理；分析統(tǒng)計(jì)頁(yè)面跳轉(zhuǎn)率、每日成交量、用戶(hù)來(lái)源每日用戶(hù)訪問(wèn)來(lái)源排名、每日新增用戶(hù)數(shù)、每日商品銷(xiāo)量Top10、實(shí)時(shí)成交額、實(shí)時(shí)黑名單等指標(biāo)；再將結(jié)果數(shù)據(jù)用圖表展示出來(lái)，為企業(yè)科學(xué)決策提供依據(jù)；圖表可以直觀展示和分析購(gòu)物平臺(tái)運(yùn)營(yíng)狀況，可根據(jù)海量用戶(hù)行為做合適的營(yíng)銷(xiāo)策略調(diào)整，提升活躍用戶(hù)數(shù)，促進(jìn)優(yōu)購(gòu)物網(wǎng)站發(fā)展。
我的職責(zé)
1.搭建Hadoop，Spark，Hive，Zookeeper集群
2.數(shù)據(jù)的清洗和簡(jiǎn)單處理
3.分析處理每日用戶(hù)訪問(wèn)來(lái)源排名、每日新增用戶(hù)數(shù)、頁(yè)面跳轉(zhuǎn)率、每日商品銷(xiāo)量Top10離線指標(biāo)，實(shí)時(shí)成交額、實(shí)時(shí)黑名單等指標(biāo)
4.hql語(yǔ)句的優(yōu)化
