16 вопросов
-
senior theory Airflow + dbt — стандарт data engineering. Что делает каждый, как они интегрируются. Когда нужен только Airflow без dbt и наоборот.
-
senior case В Airflow есть DAG, который ежедневно считает агрегаты по продажам. Прошло пол года, и нужно пересчитать данные за прошлый месяц после того, как нашли баг в ло…
-
senior case Продакшен-таблица в DWH (ClickHouse/BigQuery) получает данные через ETL. В upstream систему добавили новое поле `user_segment`. Как накатить изменение, не урон…
-
middle theory Вы реализовали ETL-цепочку с помощью Airflow и dbt. Однако в процессе разработки вы обнаружили, что один из тегов в dbt не работает корректно. Каким образом мо…
-
middle theory Вы реализовали ETL-цепочку с помощью Prefect и ClickHouse. Однако вы столкнулись с проблемой тестирования этой цепочки, поскольку сложно симулировать различные…
-
middle theory Вы реализовали ETL-цепочку с помощью Airflow и BigQuery. Однако вы столкнулись с проблемой debugging этой цепочки, поскольку сложно отслеживать ошибки и исключ…
-
middle quiz Какой из следующих подходов позволяет эффективно обрабатывать данные в ETL-пайплайне с минимальным временем простоя при изменении схемы данных?
-
middle quiz Какой из следующих механизмов обеспечивает лучшую изоляцию между задачами в ETL-пайплайне?
-
middle quiz Какой из следующих подходов позволяет эффективно обрабатывать данные в ETL-пайплайне при возникновении ошибок в одной из задач?
-
middle quiz Какой из следующих подходов позволяет оптимизировать производительность ETL-пайплайна при работе с большими объёмами данных?
-
middle quiz Какой из следующих механизмов позволяет эффективно отслеживать и логировать выполнение задач в ETL-пайплайне?
-
middle quiz Какой из следующих подходов позволяет эффективно управлять зависимостями между задачами в ETL-пайплайне?
-
middle quiz Какой из следующих подходов позволяет эффективно обновлять схему данных в ETL-пайплайне без остановки пайплайна?
-
middle quiz Какой из следующих механизмов позволяет эффективно тестировать ETL-пайплайн перед его запуском в продакшен?
-
middle quiz Какой из следующих подходов позволяет эффективно управлять ресурсами в ETL-пайплайне?
-
middle quiz Какой из следующих подходов позволяет эффективно обрабатывать данные в ETL-пайплайне при наличии частичных сбоев?