Dbt 应该用 Rust 重新编写。

1作者: ssnape8 天前原帖
我们正在使用 Dagster 运行 dbt,并在 8 个月内增长到了大约 300 个模型。编译时间已经增加到 30 秒以上,我能感受到潜在的问题。 如果我们继续以相同的速度增长到 3000 个模型(预计在 2-3 年内达到),那么编译时间可能会达到 5 分钟以上。 有没有其他人也在使用 dbt 时遇到过这种扩展瓶颈?在达到多少个模型时,编译时间变得令人痛苦?希望能听到一些经验分享,或者如果其他人发现更快的替代方案会很有帮助。
查看原文
We&#x27;re running dbt with Dagster and have grown to ~300 models in 8 months. Compilation time has crept up to 30+ seconds, and I can see the writing on the wall.<p>If we follow the same trajectory to 3000 models (which we&#x27;ll hit in 2-3 years), we&#x27;re looking at 5+ minute compilation times.<p>Has anyone else hit this scaling wall with dbt? At what model count did compilation times become painful? Would love to hear war stories or if others would find a faster alternative useful.