1-精通一種編程語言

是的，編程語言是數據工程的必備技能。多數職位概況要求精通至少一種編程語言。這些語言是ETL或數據管道框架所必需的。通用編程語言是總體上掌握數據工程和管道所需的核心編程技能。比如，Java和Scala用于在Hadoop上編寫MapReduce作業。Python是數據分析和管道的流行選擇，而Ruby也是廣泛流行的應用程序粘合劑。

2- Python是最受關注的技能

Python！Python！Python！是的，大約70％的工作簡介中具有Python作為必備技能，其次是SQL，Java，Scala和其他編程技能，例如R，.Net，Perl，Shell腳本等。

3- Apache Spark在數據處理層的頂部

數據處理是將數據收集和處理為可用的所需形式。Apache Spark排在數據處理層的首位，其次是AWS Lambda，Elasticsearch，MapReduce，Oozie，Pig，AWS EMR等。ApacheSpark是一個功能強大的開源框架，可提供交互式處理，實時流處理，批處理，并以非常快的速度，標準接口和易用性進行內存處理。

4- Rest API通常用于數據收集

對于需要分析或處理的任何數據，首先需要將其收集或吸收到數據管道中。REST API是用于此目的的常用工具，其次是Sqoop，Nifi，Azure Data Factory，Flume，Hue等。

5-數據緩沖最常見的是Apache Kafka

數據緩沖是數據工程框架中的關鍵部分，在將數據從一個地方移到另一個地方以適應大量數據時，需要臨時存儲數據。Apache Kafka是常用的分布式數據存儲，經過優化可實時攝取和處理流數據。流數據是由數千個數據源連續生成的數據，這些數據源通常同時發送數據記錄。流平臺需要處理這種不斷涌入的數據，并按順序和增量地處理數據。此類別中的其他工具是Kinesis，Redis Cache, GCP Pub/Sub 等。

6-存儲數據– SQL或NoSQL

數據需要存儲以進行處理，分析或可視化，以生成有價值的結果。數據存儲可以采用數據倉庫，Hadoop，數據庫（RDBMS和NoSQL），數據集市的形式。緊隨其后的是Hive，AWS Redshift，MongoDB，AWS S3，Cassandra，GCP BigQuery等SQL技能。

7-使用Tableau或PowerBI進行數據可視化

數據可視化是以圖形，圖表或其他可視格式表示數據或信息。它傳達數據與圖像的關系。Tableau和PowerBI領先于競爭對手，其次是SAP Business Objects，Qlik，SPSS，QuickSight，MicroStrategy等。

8-數據工程云平臺

有不同的基于云或內部部署的平臺，可用于不同的數據工程工具集。列出的典型代表是Hadoop，Google Cloud Platform，AWS，Azure和Apprenda。

好吧，并非一定要精通所有技能和工具，但是通常需要在每個數據管道框架類別中至少掌握其中一個，例如針對云平臺的GCP，針對開發的Python，針對數據處理的Apache Spark，針對數據收集的Rest API，針對數據緩沖的Apache Kafka，針對數據存儲的Hive，用于數據可視化的PowerBI。