大數(shù)據(jù)工程師主要是做什么的？

大數(shù)據(jù)工程師的主要工作是：分析歷史、預(yù)測(cè)未來(lái)、優(yōu)化選擇。

1、分析歷史，找出過(guò)去事件的特征：

大數(shù)據(jù)工程師一個(gè)很重要的工作，就是通過(guò)分析數(shù)據(jù)來(lái)找出過(guò)去事件的特征。找出過(guò)去事件的特征，最大的作用是可以幫助企業(yè)更好地認(rèn)識(shí)消費(fèi)者。通過(guò)分析用戶(hù)以往的行為軌跡，就能夠了解這個(gè)人，并預(yù)測(cè)他的行為。

2、預(yù)測(cè)未來(lái)，預(yù)測(cè)未來(lái)可能發(fā)生的事情：

通過(guò)引入關(guān)鍵因素，大數(shù)據(jù)工程師可以預(yù)測(cè)未來(lái)的消費(fèi)趨勢(shì)。

3、優(yōu)化選擇，找出最優(yōu)化的結(jié)果：

根據(jù)不同企業(yè)的業(yè)務(wù)性質(zhì)，大數(shù)據(jù)工程師可以通過(guò)數(shù)據(jù)分析來(lái)達(dá)到不同的目的。

在工作崗位上，大數(shù)據(jù)工程師需要基于Hadoop，Spark等構(gòu)建數(shù)據(jù)分析平臺(tái)，進(jìn)行設(shè)計(jì)、開(kāi)發(fā)分布式計(jì)算業(yè)務(wù)。負(fù)責(zé)大數(shù)據(jù)平臺(tái)(Hadoop，HBase，Spark等)集群環(huán)境的搭建，性能調(diào)優(yōu)和日常維護(hù)。負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)，數(shù)據(jù)ETL的設(shè)計(jì)、開(kāi)發(fā)和性能優(yōu)化。參與構(gòu)建大數(shù)據(jù)平臺(tái)，依托大數(shù)據(jù)技術(shù)建設(shè)用戶(hù)畫(huà)像。

擴(kuò)展資料：

大數(shù)據(jù)工程師可以從事對(duì)大量數(shù)據(jù)的采集、清洗、分析、治理、挖掘，并對(duì)這些數(shù)據(jù)加以利用、管理、維護(hù)和服務(wù)的相關(guān)技術(shù)工作。

大數(shù)據(jù)工程師專(zhuān)業(yè)技術(shù)水平等級(jí)培訓(xùn)考試分初級(jí)、中級(jí)、高級(jí)三個(gè)級(jí)別。

大數(shù)據(jù)工程師培養(yǎng)人群：有志于從事大數(shù)據(jù)采集、清洗、分析、治理、挖掘等技術(shù)研究，并加以利用、管理、維護(hù)和服務(wù)的工程技術(shù)人員。

大數(shù)據(jù)工程師初、中、高三個(gè)級(jí)別考試均設(shè)《大數(shù)據(jù)理論基礎(chǔ)》、《大數(shù)據(jù)技能實(shí)操》兩個(gè)科目。

參考資料：百度百科-大數(shù)據(jù)工程師

大數(shù)據(jù)開(kāi)發(fā)工程師以后可以從事哪些崗位？

大數(shù)據(jù)開(kāi)發(fā)工程師可以從事以下崗位：

1. 大數(shù)據(jù)工程師：負(fù)責(zé)搭建大數(shù)據(jù)平臺(tái)、開(kāi)發(fā)和優(yōu)化數(shù)據(jù)處理系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)。

2. 數(shù)據(jù)架構(gòu)師：負(fù)責(zé)設(shè)計(jì)和管理企業(yè)的數(shù)據(jù)架構(gòu)，確保數(shù)據(jù)在系統(tǒng)中的完整性和一致性。

3. 數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)師：負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)，使商業(yè)智能系統(tǒng)從中獲取可靠數(shù)據(jù)以支持業(yè)務(wù)決策。

4. 數(shù)據(jù)科學(xué)家：利用數(shù)據(jù)分析和統(tǒng)計(jì)技術(shù)幫助企業(yè)發(fā)現(xiàn)數(shù)據(jù)中的重要信息，提供商業(yè)洞察。

5. 機(jī)器學(xué)習(xí)工程師：建立機(jī)器學(xué)習(xí)系統(tǒng)以自動(dòng)化數(shù)據(jù)分析和預(yù)測(cè)，提供高效率和精度。

6. 數(shù)據(jù)分析師：負(fù)責(zé)分析和解釋數(shù)據(jù)，評(píng)估業(yè)務(wù)決策并提供指導(dǎo)建議。

7. 數(shù)據(jù)治理專(zhuān)員：開(kāi)發(fā)和執(zhí)行數(shù)據(jù)治理策略，確保數(shù)據(jù)質(zhì)量和信息安全。

8. 數(shù)據(jù)質(zhì)量工程師：負(fù)責(zé)創(chuàng)建和執(zhí)行數(shù)據(jù)質(zhì)量檢查和驗(yàn)證規(guī)則，保證數(shù)據(jù)準(zhǔn)確性和完整性。

9. 數(shù)據(jù)基礎(chǔ)架構(gòu)工程師：管理和優(yōu)化企業(yè)數(shù)據(jù)基礎(chǔ)設(shè)施的表現(xiàn)和可靠性，以支持各種業(yè)務(wù)用例。

10. 大數(shù)據(jù)系統(tǒng)管理員：監(jiān)測(cè)和維護(hù)大數(shù)據(jù)平臺(tái)性能，并對(duì)系統(tǒng)中的錯(cuò)誤進(jìn)行排除，確保系統(tǒng)滿(mǎn)足業(yè)務(wù)需求。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)

大數(shù)據(jù)運(yùn)維工程師需要處理公司大數(shù)據(jù)平臺(tái)各類(lèi)異常和故障，確保系統(tǒng)平臺(tái)的穩(wěn)定運(yùn)行。下面是我為您精心整理的大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)1

職責(zé):

1、技術(shù)保障各底層支撐系統(tǒng)的可靠性與穩(wěn)定性;

2、負(fù)責(zé)車(chē)輛網(wǎng)平臺(tái)的運(yùn)行監(jiān)控的解決方案編制、實(shí)施與二次功能開(kāi)發(fā);

3、負(fù)責(zé)技術(shù)文檔手冊(cè)編寫(xiě)，更新，經(jīng)驗(yàn)總結(jié)沉淀，培訓(xùn)分享;

4、負(fù)責(zé)對(duì)新技術(shù)和方案進(jìn)行調(diào)研，評(píng)估和引進(jìn)，用技術(shù)去提升運(yùn)維生產(chǎn)效率

任職資格:

1、熟悉常見(jiàn)的應(yīng)用服務(wù)部署和調(diào)優(yōu)(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、負(fù)載均衡集群的規(guī)劃與搭建;

2、熟練使用Linux、TCP/IP網(wǎng)絡(luò)協(xié)議棧，了解常用的Troubleshooting手段和常見(jiàn)性能指標(biāo)

3、具有車(chē)聯(lián)網(wǎng)平臺(tái)運(yùn)維的經(jīng)驗(yàn)，精于容量規(guī)劃、架構(gòu)設(shè)計(jì)、性能優(yōu)化;

4、熟悉主流PaaS云產(chǎn)品的使用，具有運(yùn)維平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)者、參與過(guò)開(kāi)源產(chǎn)品的開(kāi)發(fā)者優(yōu)先;

5、優(yōu)秀的溝通能力，出色的學(xué)習(xí)與鉆研能力，良好的問(wèn)題分析與解決能力;

6、對(duì)行業(yè)技術(shù)敏感度高且細(xì)致，善于思考，樂(lè)于發(fā)現(xiàn)，對(duì)解決具有挑戰(zhàn)性問(wèn)題充滿(mǎn)激情。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)2

職責(zé)：

1、負(fù)責(zé)維護(hù)服務(wù)器的運(yùn)行，包括巡檢、故障排除、數(shù)據(jù)備份等業(yè)務(wù)，保證服務(wù)器高質(zhì)量、高效率運(yùn)行狀態(tài);

2、負(fù)責(zé)服務(wù)器漏洞整改及補(bǔ)丁升級(jí);

3、負(fù)責(zé)hadoop運(yùn)維相關(guān)工作;

4、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的日常部署、升級(jí)、擴(kuò)容、遷移;

5、負(fù)責(zé)高并發(fā)，大存儲(chǔ)和實(shí)時(shí)流的Hadoop/spark大數(shù)據(jù)平臺(tái)規(guī)劃，運(yùn)維，監(jiān)控和優(yōu)化工作。

任職資格：

1、2年左右服務(wù)器運(yùn)維經(jīng)驗(yàn);

2、對(duì)linux基礎(chǔ)運(yùn)維命令熟悉，shell,python至少精通一種，如會(huì)scala語(yǔ)言可優(yōu)先考慮;

3、熟悉Linux的維護(hù)和管理，熟悉bat及Shell腳本開(kāi)發(fā)，能看懂Python/Scala優(yōu)先;

4、做過(guò)大規(guī)模hadoop集群優(yōu)先;

5、大數(shù)據(jù)項(xiàng)目：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數(shù)據(jù)生態(tài)的平臺(tái)搭建，監(jiān)控，運(yùn)維，調(diào)優(yōu)、生產(chǎn)環(huán)境hadoop集群trouble shooting 、hadoop版本升級(jí)管理及優(yōu)化支持。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)3

職責(zé):

1、負(fù)責(zé)Hadoop平臺(tái)搭建，運(yùn)維，管理，故障處理。

2、負(fù)責(zé)保障大數(shù)據(jù)平臺(tái)的高效運(yùn)轉(zhuǎn)、提升系統(tǒng)穩(wěn)定性和安全性。

3、對(duì)平臺(tái)的Hadoop，Hbase，Kafka，Hive等進(jìn)行優(yōu)化。

4、建立Hadoop集群管理和維護(hù)規(guī)范，包括版本管理和變更記錄等。

崗位要求:

1、有豐富的Hadoop生態(tài)系統(tǒng)的運(yùn)維經(jīng)驗(yàn)，了解Hadoop、Storm、Spark、Kafka這些組件的原理，具備部署、實(shí)施、維護(hù)hadoop 及相關(guān)組件的能力;

2、至少精通 Perl/Python/Shell腳本語(yǔ)言中的一種;

3、掌握Linux操作系統(tǒng)的配置，管理、優(yōu)化以及各種常用命令，能夠獨(dú)立排查及解決操作系統(tǒng)層的各類(lèi)問(wèn)題;

4、分析問(wèn)題能力優(yōu)秀，善于從各種系統(tǒng)、應(yīng)用日志中尋找出問(wèn)題的原因。

5、有獨(dú)立分析問(wèn)題和解決問(wèn)題的能力，能出差。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)4

職責(zé)：

1.負(fù)責(zé)Hadoop、spark、hbase、oozie、hive等平臺(tái)運(yùn)營(yíng)和優(yōu)化工作，保障平臺(tái)服務(wù)運(yùn)行穩(wěn)定、高效。

2.負(fù)責(zé)大數(shù)據(jù)方案架構(gòu)及方案落地;

3.開(kāi)發(fā)Hadoop大數(shù)據(jù)管理平臺(tái)與監(jiān)控建設(shè);

3.負(fù)責(zé)hadoop平臺(tái)部署、維護(hù);生產(chǎn)問(wèn)題、告警、故障處理及服務(wù)器維護(hù)、日常值班;

4.負(fù)責(zé)集群網(wǎng)絡(luò)架構(gòu)、機(jī)器管理等。

任職資格：

1. 全日制本科以上學(xué)歷，三年以上后臺(tái)系統(tǒng)運(yùn)營(yíng)工作經(jīng)驗(yàn);

2. 熟悉hadoop原理，具有Hadoop平臺(tái)應(yīng)用及管理經(jīng)驗(yàn)，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等開(kāi)源項(xiàng)目及部署、維護(hù)、調(diào)優(yōu);

3. 熟悉linux操作系統(tǒng)及調(diào)優(yōu);熟悉sql編程，熟悉Shell/Python/Java/Perl語(yǔ)言的一種或多種，有開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先， 熟悉nagios,cacti,ganglia,zabbix,zenoss優(yōu)先;

4. 對(duì)大數(shù)據(jù)和自動(dòng)化運(yùn)維開(kāi)發(fā)有濃厚興趣，有大規(guī)模hadoop運(yùn)維經(jīng)驗(yàn)者優(yōu)先;有hadoop/hbase/spark/hive 開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)5

職責(zé)：

1. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的穩(wěn)定性和性能優(yōu)化;

2. 負(fù)責(zé)大數(shù)據(jù)項(xiàng)目的運(yùn)維工作;

3. 針對(duì)業(yè)務(wù)需求制定統(tǒng)一的運(yùn)維解決方案;

4. 完善自動(dòng)監(jiān)控報(bào)警系統(tǒng)，對(duì)業(yè)務(wù)層面關(guān)鍵指標(biāo)進(jìn)行監(jiān)控與報(bào)警通知;

任職要求：

1、熟練掌握hadoop平臺(tái)搭建、維護(hù)，有平臺(tái)優(yōu)化經(jīng)驗(yàn);

2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等組件的原理，有閱讀源碼能力者優(yōu)先;

3、熟悉騰訊云產(chǎn)品，有騰訊云EMR使用經(jīng)驗(yàn)者優(yōu)先考慮;