现代数据团队的统一堆栈

[arzina221]

什么是反向 ETL？
标准 ETL 是企业数据管理的重要组成部分。它从文件和 SQL 数据库等数据源中提取信息（如果需要，还包括相关 元数据），然后将其加载到 Amazon Redshift、 Snowflake 和 Google BigQuery等数据仓库中。

顾名思义，反向 ETL 会翻转传统 ETL 流程中的操作顺序。Redpoint Ventures 投资者 Astasia Myers 在她的文章 《反向 ETL——入门》中将 反向 ETL 定义为“将数据从数据仓库移动到第三方系统以使数据可操作的过程”。

换句话说，反向 ETL 将传统的 ETL 目标视为源，将传统的 ETL 源视为目标。它首先从数据仓库或数据湖中提取数据，根据需要进行转换，然后将其加载到第三方 SaaS 应用程序或平台中。


获得个性化平台演示以及与解决方案工程师进行 30 分钟问答环节
公司电子邮件地址

反向 ETL 之前的公司情况如何？
反向 ETL 已经存在很长时间了，但直到最近数据管理社区才明确将该概念定义为 ETL 过程。在出现反向 ETL 解决方案之前，团队必须在其数据仓库技术与其操作系统（例如 Salesforce、HubSpot、Marketo 等）之间创建自己的 API 连接器，以便业务用户可以直接在这些第三方应用程序中访问数据集。

但是，创建自己的 API 连接器有几个缺点：

即使您拥有一支技术合格的内部团队，从头开始手动创建 API 连接器也可能需要几天到一周甚至更长时间。
由于“脆弱”的 API 端点可能无法处理实时数据传输，因此编写连接器具有挑战性。
您的团队需要长期维护这些连接器，以应对两 比利时号码数据 端底层技术的任何变化。
这些问题导致人们对替代 ETL 解决方案的兴趣日益浓厚。反向 ETL 解决方案允许在数据堆栈的组件之间建立开箱即用的连接 ，从而省去了手动构建 API 连接器的麻烦。

什么是反向 ETL 流？
与传统 ETL 不同，反向 ETL 管道不是分析工作负载运行的地方。相反，数据仓库或数据湖充当集中式“单一事实来源”，将数据传播到数据堆栈的其他部分。在反向 ETL 期间，从源数据仓库或数据湖提取的信息会进行转换，以适应 目标位置的 数据模型。反向 ETL 还可以处理存储在数据湖中的非结构化数据 ，并根据给定的目标架构对其进行转换。