大數(shù)據(jù)工作都做什么。我對大數(shù)據(jù)感興趣,想從事這方面的工作,但是不知道他具體是要做什么。求解~~
大數(shù)據(jù)相關(guān)工作崗位很多,有大數(shù)據(jù)分析師、大數(shù)據(jù)挖掘算法工程師、大數(shù)據(jù)研發(fā)工程師、數(shù)據(jù)產(chǎn)品經(jīng)理、大數(shù)據(jù)可視化工程師、大數(shù)據(jù)爬蟲工程師、大數(shù)據(jù)運營專員、大數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)專家、大數(shù)據(jù)總監(jiān)、大數(shù)據(jù)研究員、大數(shù)據(jù)科學(xué)家等等。
數(shù)據(jù)分析師:
工作內(nèi)容:
a.臨時取數(shù)分析,比如雙11大促活動分析;產(chǎn)品的流量轉(zhuǎn)化情況、產(chǎn)品流程優(yōu)化分析,等等;
b.報表需求分析--比如企業(yè)常見的日報、周報、月報、季報、年報、產(chǎn)品報表、流量轉(zhuǎn)化報表、經(jīng)營分析報表、KPI報表等等;
c.業(yè)務(wù)專題分析:
精準(zhǔn)營銷分析(用戶畫像分析、營銷對象分析、營銷策略分析、營銷效果分析);
風(fēng)控分析(策略分析,反欺詐分析,信用狀況分析);
市場研究分析(行業(yè)分析、競品分析、市場分析、價格分析、渠道分析、決策分析等等);
工具和技能:
工具: R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT
技能:需掌握SQL數(shù)據(jù)庫、概率統(tǒng)計、常用的算法模型(分類、聚類、關(guān)聯(lián)、預(yù)測等,每一類模型的一兩種最典型的算法)、分析報告的撰寫、商業(yè)的敏感性等等;
數(shù)據(jù)挖掘工程師:
工作內(nèi)容:
a.用戶基礎(chǔ)研究:用戶生命周期刻畫(進入、成長、成熟、衰退、流失)、用戶細分模型、用戶價值模型、用戶活躍度模型、用戶意愿度識別模型、用戶偏好識別模型、用戶流失預(yù)警模型、用戶激活模型等
b.個性化推薦算法:基于協(xié)同過濾(USERBASE/ITEMBASE)的推薦,基于內(nèi)容推薦,基于關(guān)聯(lián)規(guī)則Apriot算法推薦,基于熱門地區(qū)、季節(jié)、商品、人群的推薦等
c.風(fēng)控模型:惡意注冊模型、異地識別模型、欺詐識別模型、高危會員模型、
電商領(lǐng)域(炒信模型、刷單模型、職業(yè)差評師模型、虛假發(fā)貨模型、反欺詐模型)
金融領(lǐng)域(欺詐評分模型、征信評分模型、催收模型、虛假賬單識別模型等)
d.產(chǎn)品知識庫:產(chǎn)品聚類分類模型、產(chǎn)品質(zhì)量評分模型、違禁品識別模型、假貨識別模型等
e.文本挖掘、語義識別、圖像識別,等等
工具和技能:
工具: R、Python、SAS、SPSS、Spark、Mlib等等
技能:需掌握SQL數(shù)據(jù)庫、概率統(tǒng)計、機器學(xué)習(xí)算法原理(分類、聚類、關(guān)聯(lián)、預(yù)測、神經(jīng)網(wǎng)絡(luò)等)、模型評估、模型部署、模型監(jiān)控;
數(shù)據(jù)產(chǎn)品經(jīng)理:
工作內(nèi)容:
a.大數(shù)據(jù)平臺建設(shè),讓獲取數(shù)據(jù)、用數(shù)據(jù)變得輕而易舉;構(gòu)建完善的指標(biāo)體系,實現(xiàn)對業(yè)務(wù)的全流程監(jiān)控、提高決策效率、降低運營成本、提升營收水平;
b.數(shù)據(jù)需求分析,形成數(shù)據(jù)產(chǎn)品,對內(nèi)提升效率、控制成本,對外增加創(chuàng)收,最終實現(xiàn)數(shù)據(jù)價值變現(xiàn);
c.典型的大數(shù)據(jù)產(chǎn)品:大數(shù)據(jù)分析平臺、個性化推薦系統(tǒng)、精準(zhǔn)營銷系統(tǒng)、廣告系統(tǒng)、征信評分系統(tǒng)(如芝麻評分)、會員數(shù)據(jù)服務(wù)系統(tǒng)(如數(shù)據(jù)縱橫),等等;
工具和技能:
工具: 除了掌握數(shù)據(jù)分析工具,還需要掌握 像 原型設(shè)計工具Auxe、畫結(jié)構(gòu)流程的X-Mind、visio、Excel、PPT等
技能:需掌握SQL數(shù)據(jù)庫、產(chǎn)品設(shè)計,同時,熟悉常用的數(shù)據(jù)產(chǎn)品框架
數(shù)據(jù)研發(fā)工程師:
工作內(nèi)容:
a.大數(shù)據(jù)采集、日志爬蟲、數(shù)據(jù)上報等數(shù)據(jù)獲取工作
b.大數(shù)據(jù)清洗、轉(zhuǎn)換、計算、存儲、展現(xiàn)等工作
c.大數(shù)據(jù)應(yīng)用開發(fā)、可視化開發(fā)、報表開發(fā)等
工具和技能:
工具:hadoop、hbase、hive、kafaka、sqoop、java、python等
技能:需掌握數(shù)據(jù)庫、日志采集方法、分布式計算、實時計算等技術(shù)
大數(shù)據(jù)工程師是做什么的 需要掌握哪些技能
大數(shù)據(jù)工程師需要負責(zé)創(chuàng)建和維護數(shù)據(jù)分析基礎(chǔ)架構(gòu),包括大數(shù)據(jù)架構(gòu)的開發(fā)、構(gòu)建、維護和測試等,還負責(zé)創(chuàng)建用于建模,挖掘,獲取和驗證數(shù)據(jù)集合等流程。
大數(shù)據(jù)工程師做哪些工作
大數(shù)據(jù)工程師可以做大數(shù)據(jù)開發(fā)工作,開發(fā),建設(shè),測試和維護架構(gòu),負責(zé)公司大數(shù)據(jù)平臺的開發(fā)和維護,負責(zé)大數(shù)據(jù)平臺持續(xù)集成相關(guān)工具平臺的架構(gòu)設(shè)計與產(chǎn)品開發(fā)等。
大數(shù)據(jù)工程師可以做數(shù)據(jù)分析工作,收集,處理和執(zhí)行統(tǒng)計數(shù)據(jù)分析,運用工具,提取、分析、呈現(xiàn)數(shù)據(jù),實現(xiàn)數(shù)據(jù)的商業(yè)意義,需要業(yè)務(wù)理解和工具應(yīng)用能力。
大數(shù)據(jù)工程師可以做數(shù)據(jù)挖掘工作,數(shù)據(jù)建模、機器學(xué)習(xí)和算法實現(xiàn),商業(yè)智能,用戶體驗分析,預(yù)測流失用戶等,需要過硬的數(shù)學(xué)和統(tǒng)計學(xué)功底以外,對算法的代碼實現(xiàn)也有很高的要求。
大數(shù)據(jù)工程師可以做數(shù)據(jù)庫開發(fā)及管理工作,設(shè)計,開發(fā)和實施基于客戶需求的數(shù)據(jù)庫系統(tǒng),通過理想接口連接數(shù)據(jù)庫和數(shù)據(jù)庫工具,優(yōu)化數(shù)據(jù)庫系統(tǒng)的性能效率等。
大數(shù)據(jù)工程師需要學(xué)什么
1、計算機編碼能力:實際開發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師必須要掌握的能力,現(xiàn)在人們在社交網(wǎng)絡(luò)上所產(chǎn)生的許多記錄都是非結(jié)構(gòu)化的數(shù)據(jù),如何從這些毫無頭緒的信息中提取有用數(shù)據(jù)呢,這就需要大數(shù)據(jù)工程師來做。
2、.大數(shù)據(jù)架構(gòu)工具與組件:企業(yè)大數(shù)據(jù)框架的搭建,多是選擇基于開源技術(shù)框架來實現(xiàn)的,這其中就包括Hadoop、Spark、Storm、Flink為主的一系列組件框架,及其生態(tài)圈組件。
3、數(shù)據(jù)倉庫和ETL工具:數(shù)據(jù)倉庫和ETL能力對于大數(shù)據(jù)工程師至關(guān)重要。像Redshift或Panoply這樣的數(shù)據(jù)倉庫解決方案,以及ETL工具,比如StitchData或Segment都非常有用。
4、編程語言:編碼與開發(fā)能力是大數(shù)據(jù)工程師的必備技能,要熟悉Python,C/C++,Java,Perl,Golang或其它語言。
數(shù)據(jù)工程師是做什么的
數(shù)據(jù)工程師負責(zé)創(chuàng)建和維護分析基礎(chǔ)架構(gòu),該基礎(chǔ)架構(gòu)幾乎可以支持?jǐn)?shù)據(jù)世界中的所有其他功能。數(shù)據(jù)工程師負責(zé)大數(shù)據(jù)架構(gòu)的開發(fā)、構(gòu)建、維護和測試,例如數(shù)據(jù)庫和大數(shù)據(jù)處理系統(tǒng)。大數(shù)據(jù)工程師還負責(zé)創(chuàng)建用于建模,挖掘,獲取和驗證數(shù)據(jù)集合等流程。
數(shù)據(jù)工程師的工作內(nèi)容有:
學(xué)習(xí)并適應(yīng)產(chǎn)品設(shè)計開發(fā)體系和公司產(chǎn)品開發(fā)程序,按產(chǎn)品開發(fā)規(guī)范進行新產(chǎn)品設(shè)計,產(chǎn)品設(shè)計驗證;
完成產(chǎn)品技術(shù)積累,形成技術(shù)規(guī)范,理解公司程序及用戶的特定文件編制要求,確保全新產(chǎn)品設(shè)計成功引入公司;
完成產(chǎn)品設(shè)計資料并發(fā)布,確保設(shè)計資料對制造過程工藝路線和方法具有指導(dǎo)作用,與用戶交流并確保圖紙狀態(tài)持續(xù)的滿足用戶技術(shù)狀態(tài)要求;
完成項目的設(shè)計驗證計劃并實施,進行技術(shù)積累,形成規(guī)范的設(shè)計模板,實現(xiàn)技術(shù)進步,持續(xù)改進,并推行持續(xù)性改進作為更改的手段;
與制造工程師緊密合作,降低產(chǎn)品設(shè)計成本,達到適合公司具體情況的產(chǎn)品設(shè)計,確保現(xiàn)有條件某具體項目制造過程的最合理性。