Подтемы
ETL/ELT, CDC, идемпотентность, тестирование
14 вопр.
Apache Kafka — partitions, consumer groups, exactly-once
14 вопр.
Пайплайны — бизнес-flows (Saga, Outbox)
16 вопр.
Пайплайны — CI/CD (GitLab, GitHub Actions)
14 вопр.
Пайплайны — ETL (Airflow, Prefect, dbt)
16 вопр.
Пайплайны — messaging (Kafka, RabbitMQ, Celery)
17 вопр.
Оркестрация долгих задач (Celery / Temporal / Worker model)
13 вопр.
RabbitMQ — exchanges, queues, ack, DLX
13 вопр.
9 вопросов
-
senior theory Чем Temporal принципиально отличается от Celery? Когда нужен? Что такое workflow vs activity, deterministic execution?
-
senior theory "Exactly-once" в Kafka — что это на самом деле? Чем отличается idempotent producer от transactional producer? Когда нужно `enable.idempotence=true`?
-
senior theory Что такое manual ack? Чем отличается от auto-ack? Зачем prefetch (qos)? Что произойдёт если consumer упал не ack'нув сообщение?
-
senior theory Airflow + dbt — стандарт data engineering. Что делает каждый, как они интегрируются. Когда нужен только Airflow без dbt и наоборот.
-
senior theory CDC (Change Data Capture): зачем, какие бывают подходы (log-based, trigger-based, polling)? Как работает Debezium? Какие подводные камни на проде?
-
senior theory Идемпотентность ETL-job: что это, почему критично, как реализовать? Расскажи про UPSERT, watermark, dedup и retry-логику.
-
senior theory Как тестировать data pipelines? Unit, integration, data-quality тесты. Great Expectations, dbt tests, Soda — что и когда?
-
senior theory Saga pattern: чем choreography отличается от orchestration? Когда выбрать какой? Покажи пример из e-commerce.
-
senior theory Представьте, что вы работаете над проектом с большим кодовым базисом и многочисленными зависимостями. Как вы бы организовали GitLab CI pipeline для автоматизац…