大數(shù)據(jù)開(kāi)發(fā)工程師需要具備哪些技能

大數(shù)據(jù)開(kāi)發(fā)工程師需要具備的技能如下：

簡(jiǎn)單來(lái)說(shuō)，大數(shù)據(jù)工程師需要負(fù)責(zé)創(chuàng)建和維護(hù)數(shù)據(jù)分析基礎(chǔ)架構(gòu)，包括大數(shù)據(jù)架構(gòu)的開(kāi)發(fā)、構(gòu)建、維護(hù)和測(cè)試，例如數(shù)據(jù)庫(kù)和大數(shù)據(jù)處理系統(tǒng)。另外，還負(fù)責(zé)大數(shù)據(jù)工程師還負(fù)責(zé)創(chuàng)建用于建模，挖掘，獲取和驗(yàn)證數(shù)據(jù)集合等流程。

1、大數(shù)據(jù)架構(gòu)工具與組件

企業(yè)大數(shù)據(jù)框架的搭建，多是選擇基于開(kāi)源技術(shù)框架來(lái)實(shí)現(xiàn)的，這其中就包括Hadoop、Spark、Storm、Flink為主的一系列組件框架，及其生態(tài)圈組件。

2、深入了解SQL和其它數(shù)據(jù)庫(kù)解決方案

大數(shù)據(jù)工程師需要熟悉數(shù)據(jù)庫(kù)管理系統(tǒng)，深入了解SQL。同樣其它數(shù)據(jù)庫(kù)解決方案，例如Cassandra或MangoDB也須熟悉，因?yàn)椴皇敲總€(gè)數(shù)據(jù)庫(kù)都是由可識(shí)別的標(biāo)準(zhǔn)來(lái)構(gòu)建。

3、數(shù)據(jù)倉(cāng)庫(kù)和ETL工具

數(shù)據(jù)倉(cāng)庫(kù)和ETL能力對(duì)于大數(shù)據(jù)工程師至關(guān)重要。像Redshift或Panoply這樣的數(shù)據(jù)倉(cāng)庫(kù)解決方案，以及ETL工具，比如StitchData或Segment都非常有用。

4、基于Hadoop的分析(HBase，Hive，MapReduce等)

對(duì)基于Apache Hadoop的數(shù)據(jù)處理框架，需要有深入的了解，至少HBase，Hive和MapReduce的知識(shí)存儲(chǔ)是必需的。

5、編碼

編碼與開(kāi)發(fā)能力是作為大數(shù)據(jù)工程師的重要要求，主要掌握J(rèn)ava、Scala、Python三門(mén)語(yǔ)言，這在大數(shù)據(jù)當(dāng)中非常關(guān)鍵。

大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述

大數(shù)據(jù) 運(yùn)維工程師 需要負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的運(yùn)維管理工作，集群容量規(guī)劃、擴(kuò)容及性能優(yōu)化。下面是我為您精心整理的大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述。

大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述1

職責(zé)：

1、負(fù)責(zé)數(shù)據(jù)平臺(tái)的運(yùn)維管理工作(部署、監(jiān)控、優(yōu)化、故障處理);

2、負(fù)責(zé)Hadoop/Spark/Flink/Elasticsearch/Kafka等系統(tǒng)的架構(gòu)審核、容量規(guī)劃、成本優(yōu)化;

3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的用戶管理、權(quán)限分配、資源分配;

4、參與 數(shù)據(jù)挖掘 、機(jī)器學(xué)習(xí)的平臺(tái)的設(shè)計(jì)、并給出可執(zhí)行的運(yùn)維方案;

5、參與數(shù)據(jù)平臺(tái)的相關(guān)工具開(kāi)發(fā)(包括自動(dòng)化部署、監(jiān)控、ETL等);

6、深入理解數(shù)據(jù)平臺(tái)架構(gòu)，發(fā)現(xiàn)并解決故障隱患及性能瓶頸;

7、ETL工具、調(diào)度工具、 關(guān)系型數(shù)據(jù)庫(kù) 的運(yùn)維。

任職資格：

1、本科以上學(xué)歷，計(jì)算機(jī)軟件相關(guān)專業(yè);

2、1年以上大數(shù)據(jù)相關(guān)組件運(yùn)維經(jīng)驗(yàn)(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP維護(hù)經(jīng)驗(yàn)，3年以上系統(tǒng)運(yùn)維相關(guān)經(jīng)驗(yàn);

3、深入理解Linux系統(tǒng)，能獨(dú)立部署 開(kāi)源軟件 ，熟練掌握一門(mén)以上 腳本語(yǔ)言 (shell/perl/python等)，熟悉python開(kāi)發(fā)語(yǔ)言優(yōu)先;

4、 邏輯思維能力 強(qiáng)，做事有條理， 責(zé)任心 強(qiáng)，工作積極主動(dòng)， 執(zhí)行力 強(qiáng)，有良好的團(tuán)隊(duì)協(xié)作意識(shí)。

大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述2

職責(zé)

1. 負(fù)責(zé)大數(shù)據(jù)ETL系統(tǒng)，運(yùn)維及保障服務(wù)穩(wěn)定可用;

2. 負(fù)責(zé) 數(shù)據(jù)采集 交換方案以及聯(lián)調(diào)測(cè)試;

3. 負(fù)責(zé)采集交換任務(wù)的評(píng)審和上線;

4. 負(fù)責(zé)及時(shí)排除ETL流程故障，形成知識(shí)庫(kù)，完善運(yùn)維文檔;

5. 負(fù)責(zé)監(jiān)控和優(yōu)化ETL的性能,持續(xù)性地提出改進(jìn)自動(dòng)化運(yùn)維平臺(tái)建議

技能要求

1. 計(jì)算機(jī)科學(xué) 或相關(guān)專業(yè)本科及以上學(xué)歷;

2. 熟悉Linux系統(tǒng),熟練編寫(xiě)shell/perl/python一種或多種腳本語(yǔ)言;

3. 熟悉Hive、Hadoop、MapReduce集群原理，有hadoop大數(shù)據(jù)平臺(tái)運(yùn)維經(jīng)驗(yàn)者優(yōu)先;

4. 熟悉數(shù)據(jù)庫(kù)的性能優(yōu)化、SQL調(diào)優(yōu)，有相應(yīng)經(jīng)驗(yàn);

5. 抗壓能力強(qiáng)，有強(qiáng)烈的責(zé)任心，良好的 溝通能力 、學(xué)習(xí)能力及團(tuán)隊(duì)合作能力。

大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述3

職責(zé)：

1、負(fù)責(zé)分布式大數(shù)據(jù)平臺(tái)產(chǎn)品的運(yùn)維和運(yùn)維開(kāi)發(fā)，保證其高可用和穩(wěn)定性;

2、負(fù)責(zé)大數(shù)據(jù)系統(tǒng)架構(gòu)的可運(yùn)維性設(shè)計(jì)、容量規(guī)劃、服務(wù)監(jiān)控，持續(xù)優(yōu)化服務(wù)架構(gòu)、集群性能;

3、通過(guò)技術(shù)手段控制和優(yōu)化成本，通過(guò)自動(dòng)化工具及流程提升大數(shù)據(jù)平臺(tái)運(yùn)維效率;

4、為項(xiàng)目開(kāi)發(fā)人員提供 大數(shù)據(jù)技術(shù) 指導(dǎo)及解決大數(shù)據(jù)平臺(tái)應(yīng)用中遇到的技術(shù)難題;

任職資格：

1、三年以上大數(shù)據(jù)運(yùn)維相關(guān)工作經(jīng)驗(yàn)，有大型互聯(lián)網(wǎng)公司工作經(jīng)驗(yàn)者優(yōu)先，全日制本科及以上學(xué)歷;

2、熟練掌握至少一門(mén)開(kāi)發(fā)語(yǔ)言，有Java或Python語(yǔ)言開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先;

3、精通Hadoop生態(tài)及高性能緩存相關(guān)的各種工具并有實(shí)戰(zhàn)經(jīng)驗(yàn)，包括但不限于Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;

4、熟悉Mysql等常用關(guān)系數(shù)據(jù)庫(kù)，熟練編寫(xiě)SQL語(yǔ)句，有分布式nosql數(shù)據(jù)庫(kù)應(yīng)用、性能調(diào)優(yōu)經(jīng)驗(yàn)優(yōu)先;

5、熟悉Linux環(huán)境，能夠熟悉使用shell腳本;

6、對(duì)大數(shù)據(jù)技術(shù)有強(qiáng)烈興趣，有志于往大數(shù)據(jù)方向深層次發(fā)展;

7、具有很強(qiáng)的責(zé)任心、執(zhí)行力、服務(wù)意識(shí)、學(xué)習(xí)能力和抗壓能力;

8、具備較好的溝通能力、主動(dòng)性及責(zé)任感。

大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述4

職責(zé)：

1、負(fù)責(zé)大數(shù)據(jù)集群的日常維護(hù)、監(jiān)控、異常處理等工作，保障集群穩(wěn)定運(yùn)行;

2、負(fù)責(zé)大數(shù)據(jù) 批處理 管理以及運(yùn)維;

3、負(fù)責(zé)大數(shù)據(jù)集群的用戶管理、權(quán)限管理、資源管理、性能優(yōu)化等;

4、深入理解數(shù)據(jù)平臺(tái)架構(gòu)，發(fā)現(xiàn)并解決重大故障及性能瓶頸，打造一流的數(shù)據(jù)平臺(tái);

5、跟進(jìn)大數(shù)據(jù)前沿技術(shù)，不斷優(yōu)化數(shù)據(jù)集群;

6、有華為大數(shù)據(jù)平臺(tái)運(yùn)維經(jīng)驗(yàn)優(yōu)先;

崗位要求：

1、1年以上大數(shù)據(jù)運(yùn)維或開(kāi)發(fā)經(jīng)驗(yàn);

2、有良好的計(jì)算機(jī)和網(wǎng)絡(luò)基礎(chǔ)，熟悉linux文件系統(tǒng)、內(nèi)核、性能調(diào)優(yōu)，TCP/IP、HTTP等協(xié)議;

3、熟悉大數(shù)據(jù)生態(tài)，有相關(guān)(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的運(yùn)維及開(kāi)發(fā)經(jīng)驗(yàn);

4、熟練使用shell、python等腳本語(yǔ)言開(kāi)發(fā)相關(guān)運(yùn)維管理工具;

5、良好的文檔撰寫(xiě)習(xí)慣;

大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述5

職責(zé)：

1、負(fù)責(zé)公司內(nèi)部及項(xiàng)目中大數(shù)據(jù)集群的構(gòu)建，任務(wù)調(diào)度、監(jiān)控預(yù)警，持續(xù)完善大數(shù)據(jù)平臺(tái)，保證穩(wěn)定性、安全性;

2、負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容、集群性能優(yōu)化及日常巡檢和應(yīng)急值守，參與大數(shù)據(jù)基礎(chǔ)環(huán)境的架構(gòu)設(shè)計(jì)與改進(jìn);

3、深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，探索新的運(yùn)維技術(shù)及發(fā)展方向。

任職要求：

1、熟悉Linux基礎(chǔ)命令操作，能夠獨(dú)立編寫(xiě)Shell腳本開(kāi)展日常服務(wù)器的運(yùn)維;

2、熟悉Hadoop 生態(tài)圈 Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調(diào)優(yōu);

3、熟悉軟硬件設(shè)備，網(wǎng)絡(luò)原理，有豐富的大數(shù)據(jù)平臺(tái)部署，性能優(yōu)化和運(yùn)維經(jīng)驗(yàn);

4、工作認(rèn)真負(fù)責(zé)，有較強(qiáng)的學(xué)習(xí)能力，動(dòng)手能力和分析解決問(wèn)題的能力;

5、能夠利用各種開(kāi)源監(jiān)控工具、運(yùn)維工具，HA、 負(fù)載均衡 軟件完成工作任務(wù);

6、熟悉JVM 虛擬機(jī) 調(diào)優(yōu);

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)

大數(shù)據(jù)運(yùn)維工程師需要處理公司大數(shù)據(jù)平臺(tái)各類異常和故障，確保系統(tǒng)平臺(tái)的穩(wěn)定運(yùn)行。下面是我為您精心整理的大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)1

職責(zé):

1、技術(shù)保障各底層支撐系統(tǒng)的可靠性與穩(wěn)定性;

2、負(fù)責(zé)車輛網(wǎng)平臺(tái)的運(yùn)行監(jiān)控的解決方案編制、實(shí)施與二次功能開(kāi)發(fā);

3、負(fù)責(zé)技術(shù)文檔手冊(cè)編寫(xiě)，更新，經(jīng)驗(yàn)總結(jié)沉淀，培訓(xùn)分享;

4、負(fù)責(zé)對(duì)新技術(shù)和方案進(jìn)行調(diào)研，評(píng)估和引進(jìn)，用技術(shù)去提升運(yùn)維生產(chǎn)效率

任職資格:

1、熟悉常見(jiàn)的應(yīng)用服務(wù)部署和調(diào)優(yōu)(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、負(fù)載均衡集群的規(guī)劃與搭建;

2、熟練使用Linux、TCP/IP網(wǎng)絡(luò)協(xié)議棧，了解常用的Troubleshooting手段和常見(jiàn)性能指標(biāo)

3、具有車聯(lián)網(wǎng)平臺(tái)運(yùn)維的經(jīng)驗(yàn)，精于容量規(guī)劃、架構(gòu)設(shè)計(jì)、性能優(yōu)化;

4、熟悉主流PaaS云產(chǎn)品的使用，具有運(yùn)維平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)者、參與過(guò)開(kāi)源產(chǎn)品的開(kāi)發(fā)者優(yōu)先;

5、優(yōu)秀的溝通能力，出色的學(xué)習(xí)與鉆研能力，良好的問(wèn)題分析與解決能力;

6、對(duì)行業(yè)技術(shù)敏感度高且細(xì)致，善于思考，樂(lè)于發(fā)現(xiàn)，對(duì)解決具有挑戰(zhàn)性問(wèn)題充滿激情。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)2

職責(zé)：

1、負(fù)責(zé)維護(hù)服務(wù)器的運(yùn)行，包括巡檢、故障排除、數(shù)據(jù)備份等業(yè)務(wù)，保證服務(wù)器高質(zhì)量、高效率運(yùn)行狀態(tài);

2、負(fù)責(zé)服務(wù)器漏洞整改及補(bǔ)丁升級(jí);

3、負(fù)責(zé)hadoop運(yùn)維相關(guān)工作;

4、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的日常部署、升級(jí)、擴(kuò)容、遷移;

5、負(fù)責(zé)高并發(fā)，大存儲(chǔ)和實(shí)時(shí)流的Hadoop/spark大數(shù)據(jù)平臺(tái)規(guī)劃，運(yùn)維，監(jiān)控和優(yōu)化工作。

任職資格：

1、2年左右服務(wù)器運(yùn)維經(jīng)驗(yàn);

2、對(duì)linux基礎(chǔ)運(yùn)維命令熟悉，shell,python至少精通一種，如會(huì)scala語(yǔ)言可優(yōu)先考慮;

3、熟悉Linux的維護(hù)和管理，熟悉bat及Shell腳本開(kāi)發(fā)，能看懂Python/Scala優(yōu)先;

4、做過(guò)大規(guī)模hadoop集群優(yōu)先;

5、大數(shù)據(jù)項(xiàng)目：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數(shù)據(jù)生態(tài)的平臺(tái)搭建，監(jiān)控，運(yùn)維，調(diào)優(yōu)、生產(chǎn)環(huán)境hadoop集群trouble shooting 、hadoop版本升級(jí)管理及優(yōu)化支持。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)3

職責(zé):

1、負(fù)責(zé)Hadoop平臺(tái)搭建，運(yùn)維，管理，故障處理。

2、負(fù)責(zé)保障大數(shù)據(jù)平臺(tái)的高效運(yùn)轉(zhuǎn)、提升系統(tǒng)穩(wěn)定性和安全性。

3、對(duì)平臺(tái)的Hadoop，Hbase，Kafka，Hive等進(jìn)行優(yōu)化。

4、建立Hadoop集群管理和維護(hù)規(guī)范，包括版本管理和變更記錄等。

崗位要求:

1、有豐富的Hadoop生態(tài)系統(tǒng)的運(yùn)維經(jīng)驗(yàn)，了解Hadoop、Storm、Spark、Kafka這些組件的原理，具備部署、實(shí)施、維護(hù)hadoop 及相關(guān)組件的能力;

2、至少精通 Perl/Python/Shell腳本語(yǔ)言中的一種;

3、掌握Linux操作系統(tǒng)的配置，管理、優(yōu)化以及各種常用命令，能夠獨(dú)立排查及解決操作系統(tǒng)層的各類問(wèn)題;

4、分析問(wèn)題能力優(yōu)秀，善于從各種系統(tǒng)、應(yīng)用日志中尋找出問(wèn)題的原因。

5、有獨(dú)立分析問(wèn)題和解決問(wèn)題的能力，能出差。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)4

職責(zé)：

1.負(fù)責(zé)Hadoop、spark、hbase、oozie、hive等平臺(tái)運(yùn)營(yíng)和優(yōu)化工作，保障平臺(tái)服務(wù)運(yùn)行穩(wěn)定、高效。

2.負(fù)責(zé)大數(shù)據(jù)方案架構(gòu)及方案落地;

3.開(kāi)發(fā)Hadoop大數(shù)據(jù)管理平臺(tái)與監(jiān)控建設(shè);

3.負(fù)責(zé)hadoop平臺(tái)部署、維護(hù);生產(chǎn)問(wèn)題、告警、故障處理及服務(wù)器維護(hù)、日常值班;

4.負(fù)責(zé)集群網(wǎng)絡(luò)架構(gòu)、機(jī)器管理等。

任職資格：

1. 全日制本科以上學(xué)歷，三年以上后臺(tái)系統(tǒng)運(yùn)營(yíng)工作經(jīng)驗(yàn);

2. 熟悉hadoop原理，具有Hadoop平臺(tái)應(yīng)用及管理經(jīng)驗(yàn)，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等開(kāi)源項(xiàng)目及部署、維護(hù)、調(diào)優(yōu);

3. 熟悉linux操作系統(tǒng)及調(diào)優(yōu);熟悉sql編程，熟悉Shell/Python/Java/Perl語(yǔ)言的一種或多種，有開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先， 熟悉nagios,cacti,ganglia,zabbix,zenoss優(yōu)先;

4. 對(duì)大數(shù)據(jù)和自動(dòng)化運(yùn)維開(kāi)發(fā)有濃厚興趣，有大規(guī)模hadoop運(yùn)維經(jīng)驗(yàn)者優(yōu)先;有hadoop/hbase/spark/hive 開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。

大數(shù)據(jù)運(yùn)維工程師的基本職責(zé)5

職責(zé)：

1. 負(fù)責(zé)大數(shù)據(jù)平臺(tái)的穩(wěn)定性和性能優(yōu)化;

2. 負(fù)責(zé)大數(shù)據(jù)項(xiàng)目的運(yùn)維工作;

3. 針對(duì)業(yè)務(wù)需求制定統(tǒng)一的運(yùn)維解決方案;

4. 完善自動(dòng)監(jiān)控報(bào)警系統(tǒng)，對(duì)業(yè)務(wù)層面關(guān)鍵指標(biāo)進(jìn)行監(jiān)控與報(bào)警通知;

任職要求：

1、熟練掌握hadoop平臺(tái)搭建、維護(hù)，有平臺(tái)優(yōu)化經(jīng)驗(yàn);

2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等組件的原理，有閱讀源碼能力者優(yōu)先;

3、熟悉騰訊云產(chǎn)品，有騰訊云EMR使用經(jīng)驗(yàn)者優(yōu)先考慮;