网飞数据工程师欣然·威贝尔。

尽管数据工程师(DE)是2019年增长最快的科技职位，但没有太多关于数据工程面试期待什么以及如何准备的在线资源。

在过去的一年里，我在湾区的几家科技公司面试了数据工程师的职位，并帮助许多人在面试中取得了成功。在这篇博文中，我将解释数据工程面试中最重要的技术主题：简历、编程、SQL和系统设计。我还会教你如何准备面试的非技术部分，我相信这是成功面试的关键，但往往被求职者忽视。

但是，我不会讨论任何公司的DE面试中提出的具体问题，因为这篇博客文章旨在作为一个通用指南，帮助您了解成为一名成功的数据工程师所需的基本技能。

简历

你的简历不仅是获得招聘人员和招聘经理注意的敲门砖，也是最重要的项目清单，你应该准备好与面试官深入讨论，以展示你的技能，包括技术能力、解决问题、团队合作、沟通和项目管理。

我在简历深潜会议中看到的最常见的错误是只关注技术实现细节，而没有解释或理解系统设计中的权衡（例如，“我使用卡夫卡是因为我的经理告诉我的”）和项目的更大图景。请记住，面试官不像您一样了解您以前公司的业务问题和数据基础设施，因此您需要提供足够的上下文来帮助他们理解您的项目的技术复杂性和影响。因此，一个伟大的项目深潜的关键是把你的项目从头到尾描绘一个完整的画面，就像一个故事！

我强烈建议练习谈论你最重要的数据项目（如果可能的话，和有工程背景的人），并确保在你的故事中回答以下问题：

• 这个项目的动机是什么？（例如，您的项目试图解决什么数据/业务问题？）
• 你和哪些团队合作过？你是怎么和他们一起工作的？
• 如果你是项目业主，你是如何计划和推动的？
• 系统设计中做了哪些技术权衡？（例如，为什么使用framework X而不是其他替代方案？）
• 与您的项目相关的一些技术统计数据是什么？（例如，数据管道的吞吐量和延迟是多少？）
• 该项目的影响是什么？（例如，它产生了多少收入？有多少人使用了您的应用程序？）
• 你遇到了什么挑战？你是怎么解决的？

在讲述一个伟大的项目故事时，数字是很重要的。不要只是说，“它处理了很多数据……”，要查阅一些你项目的统计数据，并把它们写在简历上。数字将展示项目的规模、影响和您对项目的深刻理解。它们也使你的项目更可信。（事实上，如果你连你的应用程序能处理多少数据都不知道，面试官可能会觉得很可疑。）

程序设计

好啦。所有软件工程面试中最令人不快的部分来了：编码面试，你被要求在30分钟内用尽可能少的代码行使用最有效的数据结构来实现复杂的算法（你可能永远不会在工作中需要），并解释你的代码的时间和空间复杂性。

数据工程师角色的编码面试通常在算法方面较轻，但在数据方面较重，面试问题通常更实用。例如，编写一个函数来转换输入数据并产生所需的输出数据。您仍将被期望使用最优化的数据结构和算法，并优雅地处理所有潜在的数据问题。由于数据工程师不仅仅使用内置库来处理现实世界中的数据，编码面试还可能要求您使用流行的开源库（如AssParkandPandas）实现解决方案。如果需要，你通常可以在面试中查阅文件。如果工作要求精通特定的框架，请准备在编码面试中使用这些框架。

在面试中编写代码要比在工作中编写代码难得多，因为你将承受在很短的时间内编写出最好的代码行的压力。（我知道面试时你脑子一片空白的感觉有多可怕。）我强烈建议在编程网站上练习一些（但不要太多）编码问题，比如EtCodeorHackerrank，让自己在AcoderPad上编写代码。

对于数据工程角色，您需要学习哪些编程语言和框架？看看这篇博文。

SQL,SQL,SQL

对于数据工程师来说，SQL是一项非常重要的技能，因此我需要用一个单独的部分来介绍它（另外，SQL实际上并不是一种编程语言）。事实上，除了编码面试之外还要进行SQL面试是非常常见的。由于数据工程师负责构建可靠和可伸缩的数据处理和数据建模解决方案，您应该比数据分析师和数据科学家（他们主要使用SQL查询生产就绪的数据）更擅长SQL，所以您需要知道的不仅仅是“从……中选择……”。

“什么？SQL不只是一种查询语言吗？关于SQL我还应该知道什么？“

首先，SQL不仅仅是一种查询语言。它也是许多大数据框架共享的数据处理模式，如SparkSQL、pandas、KafkaSQL等。因此，精通SQL也表明您可以有效地学习和使用这些框架。

一个优秀的数据工程师应该能够以良好的性能将复杂的业务问题转换为SQL查询和数据模型。为了编写处理尽可能少的数据的高效查询，您需要了解查询引擎和优化器是如何工作的。例如，有时使用CASE语句结合聚合函数可以取代JOIN和UNION，处理的数据要少得多。

查看outDatabase Management SystemsandNoSQL for Mere Mortalsif您想了解数据库的所有魔力！

数据模型对如何构造查询有很大影响。例如，尽可能利用表分区和索引。但是数据模型在很大程度上也依赖于查询模式。要设计一个好的数据模型，您需要能够将业务问题转换为最终用户将对表运行的SQL查询。这就是SQL和数据建模面试经常并排进行的原因。（我将在下一节中更多地讨论数据建模。）

您如何准备SQL编码面试？看看这篇博文。

系统设计

系统设计是数据工程技术面试中最重要也是最困难的部分。在系统设计面试中，您将设计一个从端到端的数据解决方案，通常由三个部分组成：数据存储、数据处理和数据建模。

最初的面试问题通常非常简短和抽象（例如，从头到尾地设计数据仓库），您的工作是问后续问题以确定需求和用例，就像解决现实生活中的数据问题一样。系统设计的主要挑战是基于那些需求和用例选择数据存储系统和数据处理框架的最佳组合，有时存在不止一个最优解决方案。通过系统设计面试的关键是理解数据工程中的关键原理和概念，以及各种数据系统和框架的权衡。如果你想在数据系统设计中打下坚实的基础，设计数据密集型应用程序是必读的书。

数据建模通常是系统设计面试的结束部分，但有时它是SQL面试的一部分。数据建模面试问题的一个例子是为兽医诊所的预约系统设计后端分析表。数据建模中最重要的原则是基于用例和查询模式设计数据模型。同样，您有责任澄清需求和用例，以便做出更好的设计选择。

如果您对深入学习数据建模感兴趣，请查看the data Warehouse Toolkit，这是Ralph Kimball编写的数据仓库圣经。

你（又名。最重要的部分）

既然我们已经涵盖了数据工程面试中的所有技术主题，那么让我们来谈谈非技术部分。面试不是考试，你只需要正确的答案就能通过，而是一系列的对话，看看你是否能快速学习，并与团队一起解决问题。因此，在面试时做人，做自己是非常重要的：

• 好点。没人想和混蛋一起工作。
• 进行对话。最好的面试通常就像谈话。如果你想要信息或反馈，就问问题。
• 解决问题，而不是答案。就像在现实生活中，你并不总是马上知道问题的正确答案。更重要的是展示你将如何处理这个问题，而不是只给出一个答案。
• 展示你对数据工程的热情。为了成为一名更好的数据工程师，你在工作职责之外做了什么？

当面试官在面试你的时候，你也在面试他们。你喜欢和他们一起工作吗？这个团队会给你提供成长的机会吗？你同意经理的观点和管理风格吗？找到一个好的团队很难，所以明智地问你的问题。

所有的压力

面试压力很大。这是一个不完美的过程，陌生人只根据与你一个小时的互动来判断你的专业能力，有时面试结果并不公平。当你不能在面试问题上更进一步，你觉得面试官在低头看你时，这是令人沮丧的。一次又一次地被拒绝可能会对你的自尊造成毁灭性的打击，你可能会开始认为自己不够好。我也经历过：从来没有收到大多数工作申请的回音，所有我能得到的编码面试都失败了。我以为我永远不会成为工程师。但我很高兴我没有放弃。

如果你因为面试而感到不知所措、沮丧或绝望，我想让你知道你并不孤单。如果你的工作被拒绝了，那是他们的损失。对自己有耐心，保持希望，因为事情会变得更好，你只需要继续努力！总是自信地出现在你的面试中，因为你足够优秀！