Подтемы
ETL/ELT, CDC, идемпотентность, тестирование
14 вопр.
Apache Kafka — partitions, consumer groups, exactly-once
14 вопр.
Пайплайны — бизнес-flows (Saga, Outbox)
16 вопр.
Пайплайны — CI/CD (GitLab, GitHub Actions)
14 вопр.
Пайплайны — ETL (Airflow, Prefect, dbt)
16 вопр.
Пайплайны — messaging (Kafka, RabbitMQ, Celery)
17 вопр.
Оркестрация долгих задач (Celery / Temporal / Worker model)
13 вопр.
RabbitMQ — exchanges, queues, ack, DLX
13 вопр.
17 вопросов
-
senior theory Чем Temporal принципиально отличается от Celery? Когда нужен? Что такое workflow vs activity, deterministic execution?
-
senior mcq Saga pattern для распределённой транзакции. Что НЕВЕРНО?
-
senior theory "Exactly-once" в Kafka — что это на самом деле? Чем отличается idempotent producer от transactional producer? Когда нужно `enable.idempotence=true`?
-
senior case Consumer lag в Kafka растёт: producer пишет 50k msg/s, consumer тянет 30k. Что делать? Какие настройки и архитектурные решения помогут.
-
senior theory Что такое manual ack? Чем отличается от auto-ack? Зачем prefetch (qos)? Что произойдёт если consumer упал не ack'нув сообщение?
-
senior design Спроектируй retry policy для consumer'а: 3 попытки с задержкой 1s/10s/60s, потом в dead-letter. Какие RabbitMQ-фичи использовать.
-
senior theory Airflow + dbt — стандарт data engineering. Что делает каждый, как они интегрируются. Когда нужен только Airflow без dbt и наоборот.
-
senior theory CDC (Change Data Capture): зачем, какие бывают подходы (log-based, trigger-based, polling)? Как работает Debezium? Какие подводные камни на проде?
-
senior theory Идемпотентность ETL-job: что это, почему критично, как реализовать? Расскажи про UPSERT, watermark, dedup и retry-логику.
-
senior theory Как тестировать data pipelines? Unit, integration, data-quality тесты. Great Expectations, dbt tests, Soda — что и когда?
-
senior case У тебя Kafka consumer, который пишет события в БД. Иногда после обработки и до commit'а offset'а worker падает. После рестарта то же сообщение приходит снова —…
-
senior case Ты проектируешь Kafka топик для обработки заказов: 1000 заказов в секунду, нужно гарантировать порядок событий для одного заказа (created → paid → shipped). Ск…
-
senior case В Airflow есть DAG, который ежедневно считает агрегаты по продажам. Прошло пол года, и нужно пересчитать данные за прошлый месяц после того, как нашли баг в ло…
-
senior case Продакшен-таблица в DWH (ClickHouse/BigQuery) получает данные через ETL. В upstream систему добавили новое поле `user_segment`. Как накатить изменение, не урон…
-
senior theory Saga pattern: чем choreography отличается от orchestration? Когда выбрать какой? Покажи пример из e-commerce.
-
senior case Сервис должен в одной транзакции: сохранить заказ в БД и отправить событие OrderCreated в Kafka. Что произойдёт, если БД commit'нулась, а Kafka недоступна (или…
-
senior theory Представьте, что вы работаете над проектом с большим кодовым базисом и многочисленными зависимостями. Как вы бы организовали GitLab CI pipeline для автоматизац…