大數據工程師是做什么的 需要掌握哪些技能
大數據工程師需要負責創(chuàng)建和維護數據分析基礎架構，包括大數據架構的開發(fā)、構建、維護和測試等，還負責創(chuàng)建用于建模，挖掘，獲取和驗證數據集合等流程。
大數據工程師做哪些工作
大數據工程師可以做大數據開發(fā)工作，開發(fā)，建設，測試和維護架構，負責公司大數據平臺的開發(fā)和維護，負責大數據平臺持續(xù)集成相關工具平臺的架構設計與產品開發(fā)等。
大數據工程師可以做數據分析工作，收集，處理和執(zhí)行統(tǒng)計數據分析，運用工具，提取、分析、呈現數據，實現數據的商業(yè)意義，需要業(yè)務理解和工具應用能力。
大數據工程師可以做數據挖掘工作，數據建模、機器學習和算法實現，商業(yè)智能，用戶體驗分析，預測流失用戶等，需要過硬的數學和統(tǒng)計學功底以外，對算法的代碼實現也有很高的要求。
大數據工程師可以做數據庫開發(fā)及管理工作，設計，開發(fā)和實施基于客戶需求的數據庫系統(tǒng)，通過理想接口連接數據庫和數據庫工具，優(yōu)化數據庫系統(tǒng)的性能效率等。
大數據工程師需要學什么
1、計算機編碼能力：實際開發(fā)能力和大規(guī)模的數據處理能力是作為大數據工程師必須要掌握的能力，現在人們在社交網絡上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的信息中提取有用數據呢，這就需要大數據工程師來做。
2、.大數據架構工具與組件：企業(yè)大數據框架的搭建，多是選擇基于開源技術框架來實現的，這其中就包括Hadoop、Spark、Storm、Flink為主的一系列組件框架，及其生態(tài)圈組件。
3、數據倉庫和ETL工具：數據倉庫和ETL能力對于大數據工程師至關重要。像Redshift或Panoply這樣的數據倉庫解決方案，以及ETL工具，比如StitchData或Segment都非常有用。
4、編程語言：編碼與開發(fā)能力是大數據工程師的必備技能，要熟悉Python，C/C++，Java，Perl，Golang或其它語言。
大數據都有哪些就業(yè)方向?
很多大學生不想畢業(yè)即失業(yè)，看中了大數據的前景。都想報考大數據來進行提升自己，而很多學員對于其就業(yè)方向不是很了解。1 2 5在職研究生先來給大家分析一下大數據的就業(yè)方向，具體如下：
1、Hadoop開發(fā)工程師
Hadoop是一個分布式文件系統(tǒng)(Hadoop Distributed File System)，簡稱HDFS。Hadoop是一個能夠對大量數據進行分布式處理的軟件框架， 以一種可靠、高效、可伸縮的方式進行數據處理。
2、數據分析師
數據分析師是數據師的一種，指的是不同行業(yè)中，專門從事行業(yè)數據搜集、整理、分析，并依據數據做出行業(yè)研究、評估和預測的專業(yè)人員。在工作中通過運用工具，提取、分析、呈現數據，實現數據的商業(yè)意義。
3、數據挖掘工程師
做數據挖掘要從海量數據中發(fā)現規(guī)律，這就需要一定的數學知識，基本的比如線性代數、高等代數、凸優(yōu)化、概率論等。
大數據工程師的日常工作內容有哪些?
1 寫 SQL （很多入職一兩年的大數據工程師主要的工作就是寫 SQL ）
2 為集群搭大數據環(huán)境（一般公司招大數據工程師環(huán)境都已經搭好了，公司內部會有現成的大數據平臺，但我這邊會私下搞一套測試環(huán)境，畢竟公司內部的大數據系統(tǒng)權限限制很多，嚴重影響開發(fā)效率）
3 維護大數據平臺（這個應該是每個大數據工程師都做過的工作，或多或少會承擔“運維”的工作）
4 數據遷移（有部分公司需要把數據從傳統(tǒng)的數據庫 Oracle、MySQL 等數據遷移到大數據集群中，這個是比較繁瑣的工作，吃力不討好）
5 應用遷移（有部分公司需要把應用從傳統(tǒng)的數據庫 Oracle、MySQL 等數據庫的存儲過程程序或者SQL腳本遷移到大數據平臺上，這個過程也是非常繁瑣的工作，無聊，高度重復且麻煩，吃力不討好）
6 數據采集（采集日志數據、文件數據、接口數據，這個涉及到各種格式的轉換，一般用得比較多的是 Flume 和 Logstash）
7 數據處理
7.1 離線數據處理（這個一般就是寫寫 SQL 然后扔到 Hive 中跑，其實和第一點有點重復了）
7.2 實時數據處理（這個涉及到消息隊列，Kafka，Spark，Flink 這些，組件，一般就是 Flume 采集到數據發(fā)給 Kafka 然后 Spark 消費 Kafka 的數據進行處理）
8 數據可視化（這個我司是用 Spring Boot 連接后臺數據與前端，前端用自己魔改的 echarts）
9 大數據平臺開發(fā)（偏Java方向的，大概就是把開源的組件整合起來整成一個可用的大數據平臺這樣，常見的是各種難用的 PaaS 平臺）
10 數據中臺開發(fā)（中臺需要支持接入各種數據源，把各種數據源清洗轉換為可用的數據，然后再基于原始數據搭建起寬表層，一般為了節(jié)省開發(fā)成本和服務器資源，都是基于寬表層查詢出業(yè)務數據）
11 搭建數據倉庫（這里的數據倉庫的搭建不是指 Hive ，Hive 是搭建數倉的工具，數倉搭建一般會分為三層 ODS、DW、DM 層，其中DW是最重要的，它又可以分為DWD,DWM,DWS，這個層級只是邏輯上的概念，類似于把表名按照層級區(qū)分開來的操作，分層的目的是防止開發(fā)數據應用的時候直接訪問底層數據，可以減少資源，注意，減少資源開銷是減少 內存 和 CPU 的開銷，分層后磁盤占用會大大增加，磁盤不值錢所以沒什么關系，分層可以使數據表的邏輯更加清晰，方便進一步的開發(fā)操作，如果分層沒有做好會導致邏輯混亂，新來的員工難以接手業(yè)務，提高公司的運營成本，還有這個建數倉也分為建離線和實時的）
總之就是離不開寫 SQL ...
