與大數(shù)據(jù)相關的工作職位有哪些
說個大概吧
大數(shù)據(jù)開發(fā)工程師
:負責公司大數(shù)據(jù)平臺的開發(fā)和維護,負責大數(shù)據(jù)平臺持續(xù)集成相關工具平臺的架構設計與產(chǎn)品開發(fā)等;
數(shù)據(jù)分析師
:進行數(shù)據(jù)搜集、整理、分析,針對數(shù)據(jù)分析結論給管理銷售運營提供指導意義的分析意見;
數(shù)據(jù)挖掘工程師
:商業(yè)智能,用戶體驗分析,預測流失用戶等;需要過硬的數(shù)學和統(tǒng)計學功底以外,對算法的代碼實現(xiàn)也有很高的要求。
數(shù)據(jù)庫開發(fā)
:設計,開發(fā)和實施基于客戶需求的數(shù)據(jù)庫系統(tǒng),通過理想接口連接數(shù)據(jù)庫和數(shù)據(jù)庫工具,優(yōu)化數(shù)據(jù)庫系統(tǒng)的性能效率等;
數(shù)據(jù)管理
:數(shù)據(jù)庫設計、數(shù)據(jù)遷移、數(shù)據(jù)庫性能管理、數(shù)據(jù)安全管理,故障檢修問題、數(shù)據(jù)備份、數(shù)據(jù)恢復等;
數(shù)據(jù)科學家:
清洗,管理和組織(大)數(shù)據(jù),利用算法和模型提高數(shù)據(jù)處理效率、挖掘數(shù)據(jù)價值、實現(xiàn)從數(shù)據(jù)到知識的轉(zhuǎn)換;
數(shù)據(jù)產(chǎn)品經(jīng)理
:把數(shù)據(jù)和業(yè)務結合起來做成數(shù)據(jù)產(chǎn)品。
大數(shù)據(jù)工程師和大數(shù)據(jù)開發(fā)工程師的職能有何區(qū)別
大數(shù)據(jù)工程師和大數(shù)據(jù)開發(fā)工程師兩者之間沒有區(qū)別。大數(shù)據(jù)工程師指的就是大數(shù)據(jù)開發(fā)工程師。大數(shù)據(jù)工程師(即大數(shù)據(jù)開發(fā)工程師)從事大數(shù)據(jù)采集、清洗、分析、治理、挖掘等技術研究,并加以利用、管理、維護和服務。
大數(shù)據(jù)工程師(即大數(shù)據(jù)開發(fā)工程師)的職能如下:
1、大數(shù)據(jù)采集(爬蟲)、大數(shù)據(jù)清洗(ETL工程師)、大數(shù)據(jù)建模(算法工程師)與大數(shù)據(jù)分析(數(shù)據(jù)分析員)。
2、管理、分析展現(xiàn)及應用等技術(大數(shù)據(jù)開發(fā)工程師)。
3、研究、應用大數(shù)據(jù)平臺體系架構、技術和標準。
4、設計、開發(fā)、集成、測試大數(shù)據(jù)軟硬件系統(tǒng)。
5、管理、維護并保障大數(shù)據(jù)系統(tǒng)穩(wěn)定運行。
6、監(jiān)控、管理和保障大數(shù)據(jù)安全。
7、提供大數(shù)據(jù)的技術咨詢和技術服務。
擴展資料:
大數(shù)據(jù)工程師(即大數(shù)據(jù)開發(fā)工程師)的技能要求:
1、精通Java技術知識,熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等應用設計及開發(fā)。
2、了解python/shell等腳本語言。
3、熟悉大數(shù)據(jù)平臺架構,對ETL、數(shù)據(jù)倉庫等有一定了解。
4、有數(shù)據(jù)可視化、數(shù)據(jù)分析、數(shù)學模型建立相關經(jīng)驗者優(yōu)先考慮。
5、有爬蟲系統(tǒng)開發(fā)經(jīng)驗者優(yōu)先。
ETL工程師是做什么的?
ETL工程師又叫
數(shù)據(jù)庫工程師
。
ETL工程師的主要工作內(nèi)容有:從事系統(tǒng)編程、數(shù)據(jù)庫編程與設計。ETL是
數(shù)據(jù)倉庫
中的非常重要的一環(huán)。它是承前啟后的必要的一步。相對于
關系數(shù)據(jù)庫
,數(shù)據(jù)倉庫技術沒有嚴格的數(shù)學理論基礎,它更面向?qū)嶋H工程應用。
所以從工程應用的角度來考慮,按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對數(shù)據(jù)進行一些系列處理,處理過程與經(jīng)驗直接相關,同時這部分的工作直接關系數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量,從而影響到
聯(lián)機分析處理
和數(shù)據(jù)挖掘的結果的質(zhì)量。
職業(yè)前景
從業(yè)務角度講,隨著數(shù)據(jù)應用的日益豐富,不同平臺、系統(tǒng)的相互大批量數(shù)據(jù)交互成常態(tài),僅僅滿足于采集數(shù)據(jù)已經(jīng)不適應業(yè)務需要,還需要能夠為數(shù)據(jù)的目的端落地提供支撐,ETL工程師需要一個端到端的更適應業(yè)務需要的數(shù)據(jù)交換系統(tǒng)。
從技術角度講,ETL做一定的擴展可以升級為兼具交換能力,兩者有傳承,可以實現(xiàn)平滑過渡,但交換卻要考慮用另一個工具實現(xiàn),同時未來大數(shù)據(jù)平臺組件將異常豐富,相互之間的數(shù)據(jù)交換將是常態(tài),必要要有更高級別的交換工具滿足這些需求。