AB Data

我们调查了支持部分 dbt Cloud 作业的 1 个仓库，并正在寻找以下内容： 这个仓库是否可以比它需要的更大？ 这些作业的总持续时间随时间的变化趋势如何？ 是否有任何长期运行的模型成为我们 DAG 的瓶颈，我们可以优化这些模型或重新评估它们的实现方法吗？ 第一次观察和行动： 我们的第一个观察结果是，这个仓库确实规模过大。


没有排队查询，也不需要避 奥地利电报数据库 免排队。在 Snowflake 的 UI 中以及他们向所有客户提供的帐户使用元数据中，很容易找到这一点。行动：我们在 4 月份将仓库的规模从中型缩小到小型，虽然我们看到我们的工作持续时间因此而增加，但我们也看到总信用消耗大幅减少。 第二次观察与行动： 我们的第二个观察结果是，我们在这个仓库上运行的作业特别受到 1 个模型的瓶颈影响。


当一个模型阻碍作业而不是与其他模型并行运行时，就会发生瓶颈。行动：我们决定看看我们可以做些什么来优化这个模型，并很快发现我们可以利用增量实现将其正常运行时间缩短约 5 分钟或约 91%。 结果： 我们的第一个行动（减少仓库规模）的结果是，这个仓库每天消耗的信用比以前至少减少了 10 个。 我们的第二个行动（对瓶颈 dbt 模型使用增量实现）的结果也恰好每天减少我们的消耗约 10 多个信用点，因为该模型运行非常频繁。