几年前，我从软件工程背景转行到数据工程。和许多人一样，我是在工作中学习的，因为该领域的正规教育才刚刚兴起。好消息是，进入数据工程领域是完全有可能的——无论你来自软件开发、数据分析等相关领域，还是来自完全不同的、不相关的背景。
在这篇博文中，我将引导您完成学习数据工程的步骤，并分享我如果重新开始时将遵循的路线图！
了解数据工程师的角色
在我们了解细节之前，让我们首先了解数据工程师的日常工作内容。
数据工程的核心是设计和维护能够有效处理数据的系统。这些系统必须大规模运行、快速处理数据并保证准确性。数据工程师的工作日如下：
设计数据管道
数据工程师创建工作流，将数据从其来源（如数据库、API 或日志）移动到中央存储系统（如数据仓库或数据湖）。此过程称为ETL（提取、转换、加载），涉及：
从多个来源提取原始数据。
清理、转换并格式化为可用状态。
将其加载到存储系统中，以便进行分析。
在我看来，设计过程是数据工程师最有趣的部分之一。
优化数据存储
数据工程师确保数据安全高效地存储。他们根据数据的类型和大小选择正确的数据库或存储解决方案：
用于结构化数据（例如客户订单）的关系数据库。
NoSQL 数据库用于非结构化或半结构化数据，例如社交媒体帖子。
像 Amazon S3 或 Google Cloud Storage 这样的云解决方案具有可扩展性和成本效益。
保护数据质量
准确的分析需要高质量的数据。这就是为什么数据工程师会实施检查来监控数据整个生命周期的完整性、一致性和准确性。这包括：
检测并纠正数据中的错误。
防止重复或不完整的记录。
建立自动标记问题的验证规则。
在实践中，良好的数据质量实践经常被忽视。这是一个错误，我建议你从一开始就将这个主题纳入你的学习路径中，这将使你成为一名与众不同的数据工程师。数据质量简介课程是一个很好的起点。
跨团队协作
数据工程师与以下人员密切合作：
数据科学家为机器学习和分析提供数据集。
分析师确保仪表板和报告具有可靠的数据。
软件工程师将数据工作流集成到应用程序中。
数据科学家和分析师是我们的利益相关者 99 英亩数据库 这意味着他们往往是我们数据产品的最终用户。软件工程师往往是产生我们处理的数据的人。
因此，通过了解不同团队的需求，数据工程师可以使基础设施与公司的总体目标保持一致。
维持系统性能
随着数据量的不断增长，管道和系统必须保持快速和可扩展性。数据工程师：
优化工作流程以处理大型数据集。
实施减少延迟并缩短处理时间的解决方案。
这取决于您作为数据工程师所处的行业或特定公司。绩效始终很重要，但如果您梦想在处理大量数据的公司（例如 Netflix、Meta 或 Amazon）工作，绩效就更为重要。
无论在哪家公司，事实是，作为一名数据工程师，你的大部分时间都将花在维护和增强数据管道上！
监控和故障排除
任何系统都可能出错，数据工程师确保尽早发现这些问题！他们设置警报和仪表板来跟踪：
管道故障。
系统减速。
数据不一致。
数据工程师经常处理基础数据管道，这对于公司的平稳运营至关重要。我之所以知道这一点，是因为多年来我一直是团队轮班值班的一员。我们的目标是在问题出现时进行故障排除和修复，以保证系统平稳运行。
成为一名数据工程师
通过高级 Python 学习成为数据工程师
数据工程与相关领域
上一节阐明了数据工程师的职责。但是，如果你是新手，你可能会想知道它与其他相关领域有何不同。虽然数据工程通常与其他职业重叠，但它们在数据生态系统中实际上具有不同的目的：
数据工程：
专注于构建用于收集、处理和存储数据的基础设施。
涉及创建其他团队可以用于分析或建模的工具和平台。
交付成果示例：从 API 中提取数据并将其加载到 Redshift 数据仓库的数据管道。
数据科学：
专注于使用统计分析和机器学习从数据中提取见解。
严重依赖预先准备的数据集，通常由数据工程师管理。
交付成果示例：基于历史数据预测客户流失的预测模型。
数据分析师：
主要负责解释和可视化数据以供商业决策。
交付成果示例：显示随时间推移的关键业务指标的仪表板。
DevOps 工程师：
在系统部署和基础设施维护等领域与数据工程师重叠。
数据工程师主要关注通用应用程序的可靠性，专注于以数据为中心的系统。
成为数据工程师所需的技能
要想成为一名出色的数据工程师，您需要具备多种技术技能和软技能。这些技能使您能够构建可靠的数据系统、解决复杂问题并与团队有效协作。
让我们分解一下你需要学习或练习的主要技能：
